SAE評価の盲点：測定位置が結果を歪める

スパースオートエンコーダ（SAE）評価の現状

スパースオートエンコーダ（SAE）は、大規模言語モデル（LLM）の内部で何が計算されているかを、より解釈可能な「潜在変数」として特定することを目的としています。これらの潜在変数がモデルの挙動にどれほど寄与しているかを評価する際、一般的な方法は、特定の潜在変数をオフにし、その結果としてモデルの出力がどのように変化するかを測定するアブレーション手法です。

しかし、一つの潜在変数は多くのトークンで活性化する可能性があります。その影響を測定するためには、どこか一つのトークンを選んで評価を行う必要があります。慣例的に、最も強く活性化するトークンが測定位置として選ばれてきました。この測定位置の選択は、評価対象のSAE辞書に依存しており、実験者によって明示的に報告されることはほとんどありません。ここに大きな問題が潜んでいます。

測定位置が結果を歪めるメカニズム

この慣例的な測定方法が問題となるのは、異なるSAE辞書を比較する場面です。私自身の調査では、同じモデル用にGoogleが公開した二つのSAEを比較した際、デコーダの類似性が非常に高い潜在変数ペアであっても、測定位置として選ばれるトークンが大きく異なることが判明しました。これは、二つの辞書が「ほぼ同じ意味」を捉えているにもかかわらず、その影響を測定する「場所」が異なっていることを意味します。

その結果、通常の評価プロトコルでは、異なるSAE辞書が実際には異なるトークンで比較されていることが非常に多くなります。これにより、SAE間の「不一致」や「性能差」と見なされるものが、実は測定位置の選択の違いに起因している可能性が高まります。

実験で明らかになった問題の深刻さ

この問題を検証するため、私達は同じ初期化から訓練された6つのSAEを用意し、それぞれが異なるフィッティング選択のみで区別されるようにしました。これにより、各SAEにおける潜在変数は「同じ意味」を持つと見なせます。この条件下で、測定位置を固定して比較したところ、驚くべき結果が得られました。

SAE間の「この潜在変数について辞書は意見が一致しない」と解釈されていた分散のほとんど（7.6%から11.9%）が、測定位置を同じトークンに統一することでほぼゼロに減少したのです。これは、SAE間の見かけ上の不一致の大部分が、実際には測定位置の違いによって引き起こされていたことを明確に示しています。

さらに、評価に用いるコーパスサイズを16倍に増やしても、この問題は解決しませんでした。むしろ、辞書間の測定位置の不一致は増加する傾向にあり、問題はスケールとともに拡大することが示唆されました。これは、より多くのデータを使えば解決するという単純な話ではないことを意味します。

評価プロトコルの改善と今後の展望

この問題に対する解決策は、評価コードにたった1行の修正を加えるという非常にシンプルなものです。アブレーションベースの因果的数値が論文間で比較可能であるためには、その測定位置を明確に報告するプロトコルが不可欠です。私自身も、過去に発表された5つの論文を監査した結果、この問題が広く見られることを確認しました。

結論として、測定位置が報告されていない因果的数値は、それが抽出された潜在変数の特性だけでなく、測定が行われたトークンの特性をも記述していると言えます。SAE評価の信頼性と比較可能性を確保するためには、測定位置の明示と統一が今後の標準となるべきです。これは、AIモデルの解釈性研究における重要な一歩となると確信しています。