AIベンチマーク評価の現状と課題
現在のLLMベンチマーク評価は、モデルの安全性や信頼性、実運用への準備状況を判断する上で広く利用されています。しかし、その評価手法にはいくつかの根本的な問題が存在すると私は考えています。多くの評価は、単一のアクセスモダリティ（通常はモデルAPI）に依存し、プロンプトごとに一度しか実行せず、結果として精度を主要な評価指標として報告しています。これは、実際のデプロイ環境でウェブ検索のような条件がモデルの挙動に与える影響を考慮していない点で、実態と乖離していると言わざるを得ません。
検証内容と驚きの結果
私はこの仮定を検証するため、最も広く利用されているLLMの一つであるChatGPTを対象に、そのチャットUIとOpenAIのAPIという二つのモダリティを比較しました。さらに、ウェブ検索の有無による影響も評価項目に加えました。具体的には、BBQとSafetyBenchという二つの人気ベンチマークから合計401のプロンプトを抽出し、各プロンプトに対して3回繰り返し実行することで、合計4,812の応答データを収集しました。標準的な性能測定に加え、応答の一貫性、応答テキストの類似性、引用の根拠、そして忌避行動といったモデル出力の多次元的な側面を評価しました。
精度だけでは見えないモデルの行動
検証の結果は非常に示唆に富むものでした。例えば、ウェブ検索を無効にした場合、チャットUIからの応答はAPIからの応答よりも両ベンチマークで精度が低いことが判明しました。さらに驚くべきことに、ウェブ検索を有効にすると、精度が最大8パーセントポイントも低下し、あるベンチマークではモダリティ間の性能傾向が逆転する現象まで確認されました。同じプロンプトを繰り返し実行した場合でも、最大21%のプロンプトで一貫性のない応答が生成されました。また、二つのモダリティは異なる引用元に基づいて回答を生成し、忌避行動もモダリティ間で一貫性がありませんでした。これらの結果は、モデルファミリー内であっても、単純な精度指標だけを報告することが、AIの安全性評価に関連する重要なモデルの行動変化を見落とす可能性があることを明確に示しています。
私が考えるAI安全性評価の未来
この研究結果から導き出される結論は明確です。AIの安全性評価は、実際の運用環境でのAIシステムの挙動をより正確に反映させるため、モダリティ、複数回実行における一貫性、ウェブ検索条件、そして応答レベルの行動を体系的に考慮する必要があります。単一の指標や条件に囚われることなく、多角的な視点からモデルの挙動を評価することが、真に安全で信頼性の高いAIシステムを開発・運用するための不可欠なステップだと私は確信しています。
書籍ゼロからはじめるCodex
Kindleで読む →
ベンチマークはあくまでベンチマークです。実運用で何が起きるか、自分でぐるぐる回して一次情報を掴むのが最速です。指標の数字だけ見て安心するのは危険だと、私の経験上断言できます。
