大規模言語モデルの多数決に潜む課題
大規模言語モデル（LLM）は、複数の回答を生成し、その中で最も多い意見を正解とする「多数決」の仕組みがよく使われます。これは回答の正確さを上げるための一般的なやり方です。しかし、この手法は常にうまくいくわけではありません。特に難しい質問の場合、多数決が裏目に出て、かえって間違った答えを選んでしまうことがあります。この現象は、回答の信頼性を高めようとする試みにとって、大きな課題です。
今回の研究は、この多数決の失敗について、数値を使って詳しく説明しています。なぜこのような現象が起きるのか、その原因を深く掘り下げて分析しました。単に多数決で決めるだけでは、複雑な問題には対応しきれない現実が見えてきます。この分析は、大規模言語モデルの自己整合性、つまり一貫した回答を出す能力の限界を浮き彫りにしています。
「ガンマ指標」で失敗を定量的に分析
研究では、「複数回答合意度を示すガンマ指標」という新しい数値が定義されました。これは、間違った回答が出た場合に、その回答群の中でどれくらいの割合が多数意見と一致したかを示すものです。この指標は、基準値で正規化され、多数決が失敗する原因を二つの要素に分けます。一つは、個別の回答傾向によって決まる「仕組みによる部分」です。もう一つは、その傾向だけでは説明できない「残りの要素」です。
この分析により、多数決がどのように機能し、そしてなぜ特定の状況で期待通りの結果を出せないのかが明確になります。個々のモデルの回答の癖や傾向が、最終的な多数決の結果にどれほど影響を与えるのかを数値で示すものです。この仕組みによる分析は、各ケースの正確さや選択肢への傾向を基に再シミュレーションされ、情報が漏洩しないように設計されています。
個別の回答傾向が鍵を握る
GPT-4.1を使った分析では、多肢選択式のGPQA-Diamondという評価基準において、個別の回答傾向が合意度の数値の81%から93%を説明することが分かりました。これは、モデル全体が共通して持つ「間違っているけれど魅力的な選択肢」を選ぶ傾向が、結果に強く影響していることを示しています。つまり、モデルが特定の選択肢に引きずられる傾向が、多数決の結果を大きく左右するのです。
この結果は、「共通の偏りが支配している」という一般的な考え方の一部を裏付けます。しかし、その偏りが学習データから来ているのかどうかは、今回の研究では特定されていません。重要なのは、個々のモデルの回答の癖が、最終的な合意度に大きな影響を与えるという点です。これは、多数決の信頼性を評価する上で、個別の回答傾向を理解することの重要性を示しています。
傾向だけでは説明できない部分
一方、オープンな質問形式のAIMEという評価基準では、個別の回答傾向が説明できる合意度の数値は59%から78%にとどまります。これは、多肢選択問題に比べて、傾向だけでは説明できない「残りの要素」が大きいことを意味します。この残りの要素は、1.56から2.80のガンマ単位で存在し、モデルの回答の多様性を示す基準によって、そのほとんどが説明できることが分かりました。
つまり、自由な回答が求められる問題では、単一の傾向だけでは結果を予測しきれません。モデルの回答がより多様で、予測が難しい側面があることを示しています。このような問題では、多数決の信頼性がさらに低下する可能性があります。この残りの要素は、純粋なノイズに縮小すると21%から29%になりますが、モデルの実行レベルでの傾向の多様性を考慮すると、十分に説明可能です。
合意度を過信してはいけない
研究では、難しい質問で多数決が裏目に出る現象が再現されました。多数決による正答率の低下は最大で9%にも達し、結合信頼区間は-0.12から-0.07でした。最も合意度が高い回答群でも、その正答率はわずか42%から83%でした。これは、通常の正答率に比べて1.2倍から3.6倍の改善ではありますが、決して完璧ではありません。高い合意度が得られたとしても、それが「必ず正しい」という保証にはならないのです。
合意度はあくまで「段階的な証拠」であり、絶対的な「保証」ではありません。この研究は、新しい多数決の方法を提案するものではありません。しかし、大規模言語モデルの回答の信頼性を評価する上で、合意度の解釈には慎重であるべきだと強く示唆しています。コードと証拠は公開されており、誰でも再現可能です。この知見は、大規模言語モデルの応用において、その限界を理解し、より堅牢なシステムを設計するために不可欠です。
PR
文賢 →
多数決で正解が出る、という思い込みは危険です。個別の回答傾向が結果を大きく左右します。私の経験上、これは設計の甘さからくるものです。何を入れるか、どう判断させるか。そこを突き詰めるのが最速です。
