LLMの学習効率に新視点：確率的自己回帰学習モデルの登場

確率的自己回帰学習モデルの導入背景

現代の大規模言語モデル（LLM）は、与えられたプロンプトに対し、次に続くトークンを確率的にサンプリングし、それを繰り返すことで一連の出力を生成します。この生成プロセスは、従来の決定論的な機械学習モデルとは異なり、本質的に確率的です。このLLMの振る舞いに着想を得て、私は「バイナリ確率的自己回帰学習」のための新しいPAC（Probably Approximately Correct）学習モデルが導入されたと理解しています。これは、JoshiらによるCOLT 2025で発表された決定論的自己回帰学習フレームワークを一般化するものであり、LLMのような確率的生成モデルの学習理論を深く探求するための重要なステップです。

このモデルでは、固定された単一のジェネレータが存在し、それが全てのプロンプト文字列に対してベルヌーイ分布を割り当てます。学習プロセスは、入力プロンプトから始まり、トークンがサンプリングされてプロンプトに追加されます。その後、同じジェネレータが拡張されたプロンプトに再び適用され、この手順がMステップにわたって繰り返されます。この反復的なサンプリングとプロンプトの拡張は、LLMが対話や文章生成を行う際の内部メカニズムを抽象的に表現しており、その学習の複雑性を理論的に解析する基盤となります。

3種類の教師あり学習：Base, CoT, E2E

この研究では、確率的自己回帰学習における3つの異なる教師あり学習形式が検討されています。これらの形式は、利用可能な教師信号の種類と粒度によって区別されます。

1. ベース（base）ワンステップサンプル: これは最も基本的な形式で、各プロンプト文字列に対する次のトークンのベルヌーイ分布を直接学習するためのサンプルです。モデルの根幹をなすワンステップ確率を学習することを目的とします。
2. Chain-of-Thought（CoT）サンプル: この形式では、Mステップにわたる完全なランダムな軌跡、すなわち思考の連鎖全体が教師信号として提供されます。LLMにおける「思考の連鎖」を模倣しており、中間ステップの全ての情報が学習に利用できる状態です。これにより、モデルは最終結果だけでなく、その結果に至るまでのプロセス全体を学習することが期待されます。
3. End-to-End（e2e）サンプル: この形式では、Mステップの軌跡の最終トークンのみが教師信号として提供されます。中間ステップの情報は隠されており、モデルは入力から最終出力へのマッピングのみを学習する必要があります。これは、多くの実世界のタスクで利用可能な教師信号の形式に近いと言えます。

各ジェネレータクラスについて、これらの3つのモデル（ベース、CoT、e2e）における学習タスクを、二乗誤差εの下で達成するために必要な最小サンプル数（mbase(ε), mCoT(ε), m_e2e(ε)）が研究の焦点となっています。これは、どの種類のデータが、どの程度の量で、最も効率的にモデルを学習させるかという、実用的な観点から非常に重要な問いです。

サンプル効率の比較と決定論的モデルとの差異

この研究の最も重要な発見は、確率的自己回帰学習が決定論的理論とは根本的に異なる振る舞いを示すという点です。決定論的モデルでは、通常、学習タスク間のサンプル効率に普遍的な比較関係が存在しますが、確率的モデルではそうではありません。具体的には、誤差スケールεにおいて、mCoT/mbaseとme2e/mCoTの両方が、既存の決定論的結果の自然な類推であるM/εよりも、同時に任意に大きくなる可能性があることが示されました。これは、確率的な要素が学習の複雑性を劇的に増大させ、単純な比例関係が成り立たないことを意味します。

私の分析では、この結果は、LLMのような確率的生成モデルの学習においては、単にデータ量を増やすだけでは解決できない本質的な困難が存在することを示唆しています。特に、中間ステップの不確実性が、学習の効率に大きな影響を与える可能性があると見ています。

CoTとE2E学習のサンプル要件と実践的示唆

しかし、スケールを適切に調整することで、各学習タスク間の関係性が明らかになりました。全てのクラスにおいて、スケールεでのCoT学習は、スケールε/M^2でのベース学習によって上限が定められます。これは、CoT学習がベース学習よりも効率的である可能性を示唆しており、中間ステップの情報が学習のコストを削減する効果を持つことを意味します。私の経験上、これはCoTプロンプティングがLLMの性能向上に寄与する理由の一つを理論的に裏付けていると感じます。

一方、スケールεでのe2e学習は、対数因子を除けば、(M/ε)m_CoT(Θ(ε))によって上限が定められます。これは、e2e学習がCoT学習に比べて、より多くのサンプルを必要とする可能性を示しており、中間ステップの情報が欠落していることのコストを反映しています。これらの依存関係とスケールは本質的にタイトであるとされており、実用的なデータ設計において非常に重要な示唆を与えます。

私は、この研究が、LLMの学習データ戦略を構築する上で不可欠な指針を提供すると考えています。特に、CoTのような中間ステップを明示するデータが、効率的な学習にどれほど貢献するか、そしてe2eのような最終結果のみのデータで学習する際の限界とコストを理解する上で、この理論的枠組みは非常に有用です。プロダクト開発においては、どのような粒度でデータを収集し、モデルに学習させるかという設計が、開発コストとモデル性能に直結します。この研究は、その設計判断の根拠となる一次情報を提供していると言えるでしょう。