知識伝達の新たな挑戦
「オンポリシー蒸留（OPD）」という手法があります。 これは、高性能なAIから推論能力を学ぶ側へ移す技術です。 しかし、長い文脈を扱う処理系から短い文脈の側へ知識を移す際、いくつかの課題がありました。 例えば、テキストを分割する仕組みが合わないことです。 教える側の仕組みと学ぶ側の仕組みで、生成の傾向が異なることもあります。 返答の文章が長くなりすぎる問題も生じます。 学びが安定しないといった問題も課題でした。
仕組みのずれを解消する
この研究では、長い文脈を推論するSU-01というAIから、短い文脈の側へ知識を移しました。 特に、証明の推論能力を移すことに焦点を当てています。 テキスト分割の仕組みの違いを解決するため、共通のテキスト空間を使います。 学ぶ側と教える側のAIで、同じテキスト部分を占める単語だけを合わせます。 これにより、分割のずれを解消します。
生成の安定化と精度向上
生成する文章が長くなりすぎたり、途中で切れたりする問題を減らすためです。 「生徒の参照KL損失」という新しい損失関数を導入しました。 そして、特定の終了を示す記号の優位性を隠す工夫をしました。 このやり方で、学ぶ側が最初の方針から大きく外れるのを抑えます。 教える側のAIと学ぶ側の生成傾向のずれを和らげます。 文章の長さも安定的に伸びるよう促します。
実験結果とその意味
Qwen3やGemma-4など、様々な種類のプログラムで実験しました。 同じ種類のプログラムと、異なる種類のプログラムの両方で試しました。 その結果、数学的な推論能力が着実に向上することを示します。 特に、自然言語での数学的証明の能力が高まりました。 注目すべきは、Intern-S2-Previewという処理系です。 ProofBenchという試験で21.2ポイント改善し、55.2に達しました。 これはGemini-2.5-Proの性能を超えるものです。 HLEやHiPhOといった科学分野の試験でも改善が見られました。 このことから、この知識を移すやり方は、数学以外の分野にも応用できる可能性を示しています。
PR
文賢 →
知識伝達は、情報量が増えるほど重要です。何を、どう移すかで結果が変わります。最速で実証し、一次情報を取りに行きます。
