AIの偏見評価は回答形式で大きく変わる

回答形式が評価結果を変える

大規模言語AI（LLM）の社会的な偏見、いわゆるバイアスを測る研究が進んでいます。しかし、その評価方法にはまだ課題があります。今回、回答形式の違いが偏見の評価結果に大きな影響を与えることが分かりました。これは、AIの能力を測る上で非常に重要な発見です。

私の見方では、AIの評価は人間へのアンケート調査に似ています。質問の仕方一つで回答が変わるように、AIも回答形式で反応が変わるのです。この研究は、その事実を明確に示しています。評価の設計が、結果を大きく左右するということです。

評価方法と実験内容

研究では、指示に従うよう調整された3つのAIの仕組みを使いました。これらをBBQベンチマークとOpinionQA調査データという二つの評価基準で試しています。評価には、以下の3種類の回答形式を用いました。

• クローズドエンド: 選択肢から一つを選ぶ形式です。
• リッカート尺度: 5段階などで同意の度合いを示す形式です。
• オープンエンド: 自由な文章で回答する形式です。

これらの形式で、AIが示す偏見の度合いや、人間の回答分布との一致度を比較しました。他の条件は全て同じにしています。純粋に回答形式の違いだけが結果にどう影響するかを調べています。

なぜ結果が変わるのか

実験の結果、回答形式によって測定される偏見の度合いが大きく変わることが分かりました。さらには、AIの偏見度合いの順位が逆転するケースまで発生しています。これは、各回答形式がAIに異なる応答行動を引き起こすためです。

例えば、クローズドエンド形式では、AIは強制的に選択肢の中から答えを選びます。リッカート尺度では、尺度に応じた分布で回答します。オープンエンド形式では、回答を拒否するような自由な文章を生成することもあります。これらの違いが、結果の変動に直結しているのです。

評価設計への提言

今回の研究結果は、AIの評価において回答形式を重要な要素として扱うべきだと強く示唆しています。単一の回答形式だけでAIの偏見を評価するのは不十分です。より信頼性の高いAI評価には、複数の回答形式を組み合わせた設計が求められます。

私は、この知見はAIプロダクト開発に直結すると考えます。ユーザーにどのような形でAIが応答するか。その設計が、AIの振る舞いを決定づけるからです。今後、AIの公正性や信頼性を確保するためには、評価の段階から多角的な視点を持つことが不可欠です。