DASH：推論モデルの自己蒸留を強化する乖離適応型教師信号

新手法DASHの登場

大規模言語モデル（LLM）の推論能力向上は、AI開発における最重要課題の一つです。この領域で、DASH（Divergence-Adaptive Supervision Horizons）という新しい手法が注目を集めています。DASHは、自己蒸留プロセスを最適化し、モデルがより複雑な推論タスクを正確に実行できるよう設計されています。これは、既存の蒸留手法の限界を克服し、効率的かつ効果的な学習を実現するものです。

推論能力向上の課題とOPSDの限界

LLMの推論能力向上には、RLVR（Reinforcement learning with verifiable rewards）が貢献してきました。しかし、その報酬信号はスパースであり、シーケンスレベルに限定されるという課題があります。この課題に対し、OPSD（On-policy self-distillation）が登場しました。OPSDは、教師モデルからトークンレベルの密な分布的教師信号を得ることで、信号のスパース性を軽減します。

しかし、私の分析では、標準的なOPSDには限界があります。それは、生成過程における時系列構造を十分に活用できていない点です。局所的な乖離（divergence）を全て同じ重みで扱ってしまうため、乖離の進化に応じた細やかな調整ができていません。同じ乖離の大きさでも、それが生じるまでの経緯が異なれば、教師と生徒のミスマッチの進化も異なるはずです。標準OPSDでは、この時間的文脈を区別できないのです。

DASHが解決する時系列構造の活用

DASHは、このOPSDの限界を克服するために開発されました。DASHの核心は、「乖離適応型教師信号」の導入にあります。具体的には、各局所的な蒸留信号とシーケンスレベルの平均とのギャップを「適応的な伝播ゲート」にマッピングします。そして、このゲートを使って「後方多段階集約」を制御します。これにより、生成中に局所的な乖離がどのように変化していくかに応じて、トークンレベルの教師信号の重みを柔軟に調整できるようになります。これは、モデルがより洗練された方法で教師モデルの知識を吸収することを可能にします。

実験結果と私の見方

DASHの有効性は、数学的推論ベンチマークで確認されました。3つの異なるベンチマークと3つのモデルスケールで実験が行われ、全てのケースで標準OPSDを上回る性能向上を示しています。特筆すべきは、DASHがOPSDが既に計算している教師と生徒の分布を再利用する点です。これにより、性能向上に追加の教師モデルや生徒モデルのフォワードパスが不要であり、計算コストが増加しないという大きなメリットがあります。私の見方では、これは既存の蒸留パイプラインに容易に組み込める現実的な改善策です。開発現場では、このような効率的な改善が最も求められます。

今後の展望

DASHは、大規模言語モデルの推論能力を向上させるための重要な一歩です。特に、自己蒸留の効率と精度を高めることで、より賢く、より少ないリソースで高性能なモデルを開発する道を開きます。今後は、DASHの概念を他のタスクやモデルアーキテクチャに適用する研究が進むでしょう。私は、この種の効率的な改善が、AI開発の現場で即座に価値を生むと確信しています。最速で一次情報を取り入れ、プロダクトにぐるぐる回すことが重要です。