テスト時学習（TTT）の課題と背景
テスト時学習（TTT）は、シーケンスモデリングをオンライン学習問題として捉え、推論時にモデルの「高速重み」を内部学習ルールで更新する手法です。これにより、モデルは推論中に新しいデータに適応し、性能を向上させることが期待されます。しかし、これまでのTTTの派生手法は、それぞれが個別にハードコードされて実装されることが一般的でした。このため、新しいTTT手法を設計する際の複雑性が高く、また、各コンポーネントが全体の性能にどのように寄与しているのか、その役割を分離して理解することが非常に困難でした。私はこの点が、TTT研究の進展を阻害する大きな要因だと感じています。
Modular TTTの概要と課題解決
この課題を解決するため、私は「Modular TTT」というフレームワークを提案します。Modular TTTは、TTTの内部学習器を「有向非巡回グラフ（DAG）」として表現します。これにより、高速重みネットワーク、損失関数、学習率、重み減衰、正規化といった要素を、明確な設計次元として外部に公開します。Modular TTTは、プリミティブレベルの学習ビューの順伝播、逆伝播、そして因果的なクエリビューのルールを自動的に組み合わせて、グラフレベルのTTT計算全体を構築します。これには、高速重みの状態遷移も含まれます。このアプローチにより、開発者はTTTの各要素を柔軟に組み合わせ、実験することが可能になります。これは、まさに「何をどう組み合わせるか」という設計の本質に立ち返るアことです。
TTTコンポーネントの体系的分析結果
Modular TTTを用いて、私はTTTの各コンポーネントを体系的にアブレーション（除去・変更）しました。その結果、いくつかの重要な知見を得ています。まず、小さな学習率の初期化、重み減衰、そして単層の非線形性が性能を向上させる傾向にあることが判明しました。一方で、平均二乗誤差（MSE）と内積損失は同様の性能を示し、損失関数の選択が性能に与える影響は限定的でした。 驚くべきことに、より深い高速重みネットワークや正規化は、過度に大きな活性化を引き起こし、性能を損なう傾向があることが分かりました。また、残差接続やゲーティング機構は、測定可能なほどの明確なメリットをもたらしませんでした。これらの結果は、TTTの設計において、闇雲に複雑な構造を導入するのではなく、シンプルかつ効果的な要素を見極めることの重要性を示唆しています。
私の見方と今後の展望
私の見方では、Modular TTTはTTT研究における「設計の科学」を一段階引き上げるものです。これまで個別の経験則に頼りがちだったTTTの改善が、より体系的かつデータ駆動型のアプローチで可能になります。特に、何が性能に寄与し、何が足を引っ張るのかを明確にできた点は大きな成果です。 これらの知見に基づき、私は最適なTTTバリアントを4.1億パラメータと14.5億パラメータのモデルとして1000億トークンで学習させました。その結果、学習損失とベンチマーク性能において、既存の高性能モデルであるGated DeltaNetに匹敵するレベルを達成しています。これは、Modular TTTが単なる分析ツールに留まらず、実用的な高性能モデル開発にも直結する強力なフレームワークであることを証明しています。今後は、このフレームワークを活用し、さらに多様なオンライン学習シナリオでのTTTの可能性を追求していく計画です。
TTTのモジュール化は、設計の自由度を格段に上げます。何が効くか、何が邪魔か、分解して試すのが最速です。自分ならまず、この知見を既存のオンライン学習モデルに適用し、性能改善をぐるぐる回します。
