AI評価試験の新たな問題点
AIの能力を測る多肢選択式の評価試験には、見過ごされてきた問題があります。それは、AIが質問文なしで、提示された選択肢だけで正解を導き出せる場合がある、という点です。これは、試験項目に「情報漏洩」があることを意味します。AIが本当に質問内容を理解しているのか、それとも選択肢に含まれる手がかりに反応しているだけなのか、その区別が曖昧になるのです。
質問文なしの正答率が示すもの
私たちは、ウクライナの高等資格委員会の裁判官資格試験「UA-JudgeExam」の11,990問を使い、この問題を検証しました。Claude Haiku 4.5に質問文を見せず、選択肢だけを提示したところ、正答率は38.3%に達しました。これは偶然の確率を大きく上回る数字です。特に、全項目の11.8%は、選択肢の順序を変えても質問文なしで正答されました。これは偶然では0.2%しか期待されない結果です。この現象は単なる引用によるものではありません。ウクライナの法規28万件を検索しても、正答率は12.8%にとどまります。
評価の歪みとAIの特性
この「情報漏洩」のある項目を除外すると、8,128項目が残ります。この選別に関わったAI自身でも、質問文なしで20.4%正答しました。さらに、選別に関与していないGPT-5.6は、質問文なしで51.5%もの正答率を示しました。私たちは12種類のAIを評価し、それぞれのAIが特定の回答位置を選びがちな癖を差し引いて分析しました。その結果、GPT-5.6が+26.5%、Sonnet 4.6が+8.1%と、有意な正答率を維持しました。一方で、Llama 3.1 8Bは、質問文なしで29.2%正答しましたが、これは92%の項目に「A」と答える癖によるものでした。このようなAIの癖が、見かけ上の性能評価を歪める可能性があります。
対策と今後の課題
「情報漏洩」のある項目を選別することは、ある程度有効です。選別された項目では、AIの正答率が大きく下がりました。しかし、この選別方法は、特定のAIに依存するため、他のAIにはそのまま適用できません。また、400項目の少ない一部の試験では、多くのAIが「偶然の確率」と判断されてしまいます。別の試験「LEXam」では、質問文なしで偶然の確率しか出ませんでした。これは、LEXamの選択肢がすべて質問文と深く関連しており、文字数も短い形式であったためです。このことから、問題の発生は試験項目の形式に大きく依存し、AIの能力がその形式からどれだけの情報を引き出すかを決定すると言えます。AIの真の能力を評価するためには、試験設計の段階から、このような「情報漏洩」を防ぐ工夫が不可欠です。
PR
文賢 →
AIの賢さとは、与えられた情報から答えを導くことです。質問文がなくても答えが出るなら、それは情報過多です。最速で適切な情報量を見極めるのが、私の仕事です。
