LLMの属性表現：読み出し、忠実性、利用は独立している

大規模言語モデルの社会模倣能力の限界

大規模言語モデル（LLM）は、現代社会において多岐にわたる用途で利用されています。特に、世論調査の回答者を模倣し、多様な人口集団の意見を再現する能力への期待は大きいものです。しかし、これまでの研究や私の経験上、LLMが生成する回答はしばしば均一的で、現実社会に存在するグループ間の微妙な意見の相違を正確に捉えきれていないという課題がありました。この均一性は、モデルが持つ集団の特性に関する情報が、現実の複雑さを反映しきれていない可能性を示唆しています。この問題の根源を理解することは、より信頼性の高いモデルを開発するために不可欠です。

モデル内部における集団の特性の所在

私たちは、LLM内部で集団の特性が具体的にどこに「住んでいる」のかを詳細に調査しました。そして、その内部構造が現実のグループ間の意見構造をどれほど忠実に反映しているのか、さらにモデルがその情報を実際に利用しているのか、という三つの問いに焦点を当てました。分析には、Mistral-7Bというモデルを使用し、169種類の異なる属性の組み合わせ（性別、年齢、地域など）について、ピュー研究所が提供する一次データと比較する表現類似性分析を実施しました。モデル内部の1,089箇所にわたる情報読み出し位置を評価し、六つの異なる属性の種類に対して因果的に介入する実験を行いました。

特定の層の働きが持つ情報と限界

私たちの分析から四つの重要な結果が得られました。まず、従来の最終トークンから情報を読み出す方法では、モデルが持つ能力を過小評価していることが判明しました。それよりも、モデル内部の特定の層の働き、具体的には「アテンションヘッド」と呼ばれる部分からの情報読み出しが、六つの属性の種類のうち五つで圧倒的に優位でした。この仕組みは、モデルが入力のどの部分に注意を払うかを決定するものです。選択補正後の忠実度は、測定の信頼性の上限の約70%に達し、語彙の類似性による制御後もこの結果は維持されました。これは、特定の層の働きが、集団の特性に関する非常に正確な情報を持っていることを示しています。

次に、一つの特定のアテンションヘッド（L11 H16）が、六つの属性の種類全てにおいて高い忠実度を示す固定された位置として機能していることが分かりました。これは、モデル内部に集団の特性を安定して表現する「ハブ」のような部分が存在することを示唆しています。しかし、人種に基づく属性の種類は、この特定の層の働きにおいても表現が弱く、プロンプト（指示）のわずかな変更で結果が不安定になる傾向が見られました。この現象は、別のモデルファミリーの三つの保存時点（チェックポイント）でも再現され、数十億の学習トークンを追加しても、この特性のマップはほとんど変化しませんでした。これは、モデルが特定の種類の集団の特性を学習しにくい、あるいは表現しにくいという根本的な課題があることを示唆しています。

忠実性と実際の利用の乖離

三つ目の重要な発見は、「因果的な利用」が「忠実度」に必ずしも従わないという点です。最も明確な因果的な利用経路は、皮肉にも最も忠実度が低い属性の種類の一つで見つかりました。一方で、最も忠実度が高い属性の種類では、補正後も残る単層の効果は見られませんでした。さらに、集団の特性全体をモデル内で置き換えても、モデルの予測誤差は2%未満しか改善しませんでした。この結果は、モデルが特定の情報を忠実に表現しているからといって、その情報を実際に予測や判断に積極的に利用しているわけではない、という重要な事実を浮き彫りにします。私の見方では、これはモデルの内部で情報が「見える」ことと、それが「使われる」ことの間に大きな隔たりがあることを示しています。

モデル開発における新たな視点

最後に、私たちは、集団の特性が「読み出せる」こと、それが現実を「忠実に表現している」こと、そしてモデルがその情報を「因果的に利用している」ことの三つは、互いに分離可能な独立した性質であると結論付けました。これらの特性を一つとして扱うことは、「LLMは人口をシミュレーションできるのか」という長年の議論が解決されないままである主要な理由です。モデル開発者は、これらの側面を個別に評価し、それぞれに特化した改善策を講じる必要があります。例えば、忠実度を高めるための学習方法と、その情報を実際に利用させるための仕組みは、異なるアプローチが求められるでしょう。私の経験上、この分離を理解することは、より精度の高い、そして社会的に責任あるAIシステムを構築するための第一歩だと確信しています。