長文推論における既存手法の課題
AIモデルがより賢くなるための一つの方法に「蒸留」があります。これは、大きな高性能モデル（教師モデル）の知識を小さなモデル（生徒モデル）に教え込む手法です。特に「オンポリシー蒸留（OPD）」は、生徒モデルが生成した応答に対し、教師モデルが単語単位で指導を行います。この方式は、多くのタスクで効果を発揮してきました。
しかし、長い文章を扱う推論タスクでは課題がありました。トークンごとの指導だけでは、文章全体の文脈やタスクの制約を見落とすことがあります。例えば、教師モデルが部分的に正しいと判断しても、タスク全体としては不十分な回答になる場合です。これを「教師モデルと検証器の意見の不一致」と呼びます。タスク特化型検証器は、AIの回答がタスクをどれだけ達成したかを評価する仕組みです。この不一致が、長文推論の精度を低下させる原因でした。
新手法「GC-OPD」の仕組み
この課題を解決するため、「Group-Calibrated On-Policy Distillation（GC-OPD）」が開発されました。GC-OPDは、教師モデルのトークンごとの指導と、タスク特化型検証器による回答全体の評価を組み合わせます。具体的には、検証器の報酬と教師モデルの指導スコアをそれぞれ正規化します。そして、その差を「不一致残差」として算出します。これは、教師モデルと検証器の意見の食い違いを示す数値です。
この不一致残差を、生徒モデルの各トークンに適切に配分する「相対優位性に基づく貢献度配分（RACA）」という手法も導入されました。RACAは、元のトークンごとの指導信号を維持しつつ、不一致残差を効果的に反映させます。これにより、生徒モデルは部分的な正しさと全体のタスク達成度の両方を考慮して学習できるようになります。
驚異的な性能向上と実証
GC-OPDは、複数の長文推論ベンチマークでその有効性を示しました。例えば、Qwen3-4Bモデルでは、GC-OPDを適用することで平均性能が29.08%から40.47%へと大幅に向上しました。Qwen3-8Bモデルでも、35.12%から44.65%へと性能が向上しています。これは、従来のオンポリシー蒸留単独での性能（Qwen3-4Bで39.31%、Qwen3-8Bで43.56%）を上回る結果です。
研究では、不一致残差の活用が、単に検証器の報酬を加えるよりも効果的であることも示されました。また、RACAによる貢献度配分が、トークンへの均一な配分よりも優れていることも確認されています。これらの結果は、GC-OPDがトークンレベルの指導を捨てずに、回答全体の評価を取り入れる効果的な方法であることを証明しています。この技術は、AIの長文理解と生成能力を大きく前進させるものです。
PR
文賢 →
長文推論は、AIを実用化する上で避けて通れない領域です。蒸留によって小規模モデルがこれほど賢くなるのは、現場での導入コストを劇的に下げます。最速で自分のプロダクトに組み込み、この一次情報をぐるぐる回します。
