AI安全スコアの落とし穴：有害プロンプトの成功を「安全」と誤認する問題

AIモデルの内部安全性スコアが、有害なプロンプトによるジェイルブレイク攻撃を「安全」と誤認している問題が浮上しました。プロンプトの有害な意図と攻撃の成功は別物であり、この誤認がAIシステムの脆弱性を高める可能性があります。研究では、攻撃が危険になるほど内部スコアがそれを安全と評価する逆転現象が確認され、既存の安全性評価手法への再考が求められています。