SAE評価の盲点：測定位置が結果を歪める

スパースオートエンコーダ（SAE）は、言語モデル内部の複雑な計算を解釈可能な「潜在変数」として特定します。これらの潜在変数の重要性を評価する際、通常は特定のトークンでその影響を測定しますが、この「測定位置」の選択が結果を大きく左右することが判明しました。既存の評価プロトコルでは、評価対象のSAE辞書によって測定位置が異なり、これが比較結果の信頼性を損ねています。本研究は、測定位置を固定することで、SAE間の不一致が大幅に減少することを示し、より正確な評価手法を提案します。