AIモデル評価はプロンプト次第：結果を左右する見過ごされた要因

AIモデルが「テストされている」と感知する能力を評価する際、使用するプロンプトの選択が評価結果を大きく左右することが判明しました。これまでの標準的な評価手法では見過ごされてきたこの要因が、モデル間の比較やスケーリングに関する結論にまで影響を与え、評価の信頼性に疑問を投げかけています。本研究は、プロンプトを測定デザインの重要な要素として捉え直す必要性を強く訴えています。