LLMの因果知識処理における新発見：ルーティングと回答生成の分離
大規模言語モデル（LLM）が因果的な質問に答える際、その内部でどのような計算が行われているのかは、これまで多くの部分がブラックボックスでした。私の調査では、LLMが因果知識をどのように整理しているかについて、重要な発見がありました。具体的には、情報の「ルーティング」と最終的な「回答生成」の間に機能的な分離が存在する、という事実です。この発見は、LLMの内部動作を理解し、監査する上で極めて重要な意味を持ちます。私はこの現象を、型レベルの監視によって誘導される「型ごとのスロット構造」が情報ルーティングを組織するものの、回答生成とは機能的に分離しているとして報告します。
型ごとのスロット構造の起源と役割
この型ごとのスロット構造は、型レベルの監視によって誘導されることが私の実験で明らかになりました。アーキテクチャ的に同一でありながら監視なしで学習させた対照モデルにはこの構造は見られず、コンテンツフリーのゲーティングラベルだけではこれを買うことはできませんでした。このことは、特定のタイプの証拠に対する監視信号が、LLM内部で情報を整理するための明確なメカニズムを形成していることを示しています。この構造は、特定の情報がモデル内のどこに送られるべきかを指示する「型付きルーティングインデックス」として機能します。例えば、あるタイプの因果的証拠が与えられた場合、モデルはその証拠を処理するための特定のスロットに情報をルーティングする、という具合です。
ルーティングと回答生成の明確な境界
誘導された型ごとのスロット構造は、情報のルーティングインデックスとして機能しますが、このスロットコード自体が直接的に回答の生成を駆動することはありません。私の検証では、スロットコードを操作しても、最終的なモデルの出力（回答）には極めて微小な影響しか与えないことが確認されました（変動幅は3.4×10⁻⁶以下）。これは、「ルーティングと回答生成の境界」が非常に明確であることを示しています。つまり、情報がどの経路を辿るかはスロット構造によって決定されますが、その経路を辿った情報が最終的にどのような回答を生成するかは、別のメカニズムによって行われるということです。この発見は、モデルの振る舞いを変更することなく、内部の情報の流れを理解し、操作できる可能性を示唆しています。
構造導入のコストと信頼性
この型ごとのスロット構造をLLMに導入しても、モデルの品質が著しく低下することはありませんでした。既存のパラメーター数が同等のモデルと比較して、品質の差は0.0082ナッツ以内と、ほとんど無視できるレベルです。これは、性能を犠牲にすることなく、LLMの内部動作の透明性と理解度を向上させられることを意味します。さらに、この型付きメカニズムライブラリの状態は、編集に対して「正確に局所的」であり、ビット単位で元に戻すことが可能です。250回の単一編集と1,000回の積み重ねられた元に戻す操作を各シードで試行しましたが、失敗はゼロでした。この高い信頼性と監査可能性は、LLMの安全性と説明責任を向上させる上で極めて重要であると私は考えます。
スケールによる変化と今後の展望
私の調査では、監視なしで学習させたモデルの「ヌル（基準点）」自体がモデルのスケールと共に変化することも発見しました。これは、あるスケールで校正されたヌルを別のスケールでの比較に再利用すると、結果が混乱する可能性があることを意味します。この知見は、LLMの研究における比較評価の設計において、重要な考慮事項となります。今回の発見は、LLMの内部メカニズムを解明し、より信頼性の高いAIシステムを構築するための第一歩です。私は、この機能的な分離の理解が、将来のLLM設計と監査の基礎を築くと確信しています。
LLMのブラックボックスを解き明かす上で、ルーティングと回答生成の分離は一次情報として重要です。これでどこをいじれば内部動作を監査できるか見えてきました。最速でこの知見をプロダクト開発にぐるぐる回します。
