蒸留学習の課題：教師の指導は常に信頼できるか
大規模言語モデル（LLM）の小型化や効率化に不可欠な技術として、オンポリシー蒸留（OPD）が注目されています。これは、学生モデルが生成した応答軌跡に対し、より高性能な教師モデルがトークンレベルで指導を与える学習手法です。しかし、この教師モデルの指導が常に完璧で信頼できるわけではないという根本的な課題を抱えています。私の経験上、教師モデルの出力にもノイズや不確実性が含まれることがあります。既存の研究では、局所的な信頼度や教師・学生モデル間の一致度を用いて、学習データの重み付けやフィルタリングを行ってきました。しかし、これらのアプローチでは、教師モデルが学生モデルの生成したプレフィックス（途中までの応答）から、最終的に正しい答えに到達できるかどうかを直接的に判断することは困難でした。また、軌跡全体を対象とした介入は、そのプロンプト自体の学習価値が低いことと、教師の指導の信頼性が低いことを混同してしまうリスクがありました。
新たな指標「プロンプトレベルの教師継続信頼性」の提案
この課題に対し、新たな概念として「プロンプトレベルの教師継続信頼性 $R$」が提案されました。これは、学生モデルが生成した特定のプレフィックスから、教師モデルが正しい答えに到達する確率を平均化したものです。私の見方では、これは非常に重要な視点です。なぜなら、プロンプトの質、つまり教師がそこから正しい答えを導き出せる可能性こそが、そのプロンプトが蒸留学習においてどれだけ価値があるかを決定するからです。オラクル実験、つまり理想的な条件下での検証では、この$R$値が高いプロンプトを使用することで、OPDの学習効果が大幅に向上することが示されました。さらに、プロンプトを$R$値の降順で学習させる方法が、ランダムな順序や昇順よりも優れた性能を発揮することも明らかになっています。これは、学習データの「質」を事前に評価し、最適な順序で提供することの重要性を強く示唆しています。
ReOrder-OPDの仕組み：信頼性でプロンプトをソート
「プロンプトレベルの教師継続信頼性 $R$」は非常に有効な指標ですが、その正確な推定には教師モデルによる多数の継続生成が必要となり、計算コストが膨大になります。そこでReOrder-OPDでは、この$R$を効率的に推定するための代理指標を導入しました。具体的には、学生モデルが独立して生成した1回のロールアウトと、検証者によって正しいと判断された同じプロンプトに対する教師モデルの軌跡との間の最大ROUGE-5 F1スコアを使用します。私の分析では、この代理スコアがプロンプトの粗い信頼性レベルを十分に分離できることが確認されています。ReOrder-OPDは、この代理スコアに基づいてプロンプトをソートし、その順序でバニラOPDのための独立したオンポリシー訓練軌跡を抽出します。このシンプルな「順序付け」が、学習効率に大きな差を生み出すのです。
実証された効果と業界へのインパクト
ReOrder-OPDは、Qwen3およびGemma4の数学設定、そしてQwen3のコード設定において、あらゆる比較で性能向上を達成しました。これは、プロンプトの信頼性に基づいた順序付けが、モデルの学習能力を飛躍的に向上させることを明確に示しています。さらに、FiRe-OPDやExOPDといった既存の軌跡内指導（within-trajectory supervision）手法と組み合わせた6つの設定全てにおいても、ReOrder-OPDが追加的なゲインをもたらすことが確認されました。これは、プロンプトの順序付けが、軌跡内の指導を補完する形で機能し、相乗効果を生み出すことを意味します。私の見方では、この技術は、より効率的で高性能なAIモデルの開発を加速させる上で不可欠な要素となるでしょう。単に多くのデータを投入するだけでなく、データの「質」と「提示順序」を最適化する重要性が、改めて浮き彫りになったと言えます。
プロンプトの質が学習効率を左右するのは当然です。このReOrder-OPDは、その「質」をデータで定義し、学習順序に落とし込んだ点が評価できます。一次情報を取るなら、まずは自分のデータでこのソートを試します。無駄な学習は排除すべきです。
