複雑な環境でAIを最適化する新手法「ClawGym II」

新しい強化学習の枠組み

AIエージェントは、環境とのやり取りを調整する「ハーネス」と呼ばれる仕組みを使うことで、長期的なタスクの性能を大きく高めてきました。しかし、この複雑なハーネスを通じた強化学習は、これまであまり研究が進んでいませんでした。特に、長期間にわたるAIタスクに学習を適用することは、根本的な課題を伴います。

私は、この課題を解決するため、複雑なハーネスを通じた一般的なAIエージェントの学習を、安定して効率的に行うための統合されたブラックボックス型強化学習の枠組みを開発しました。この枠組みは、AIエージェントの学習と実行を明確に分離し、より効果的な学習を可能にします。

複雑な仕組みを安定させる工夫

この新しい枠組みでは、まず「サンドボックス」という実行環境を構築しました。これは、タスクの環境とハーネスを一時的な隔離空間に閉じ込めるものです。これにより、大規模な並行試行を安全に行えます。この隔離された環境を使うことで、学習プロセスが他の部分に影響を与えることなく、安定して進められます。

次に、AIの行動方針の最適化と、ハーネスの実行を切り離しました。AIのモデルが呼び出される境界に「プロキシ」という仲介役を置きました。これにより、モデルへの呼び出しを正確に捉えられます。この分離設計が、複雑なハーネス環境での学習の安定性を大きく向上させています。

訓練効率を高める技術

捉えられたモデルの呼び出しは、「プレフィックスツリー」というデータ構造に整理されます。これにより、複数のやり取りからなるAIの行動経路を再構築できます。この行動経路の情報を活用し、学習の効率を高めています。

さらに、強化学習の二つの主要な手法である、クリティック（評価役）を使うPPOと、クリティックを使わないGRPOの両方を、このツリー構造に合わせて最適化できるようにしました。これにより、さまざまな学習の状況に対応できます。学習と実際の実行の間の一貫性も、最適化の全過程で維持されます。これは、学習した内容が実際の環境で正しく機能するために非常に重要です。

多様な環境での成果

この枠組みには、「ミックスハーネス学習」という機能も導入しました。これにより、一つのAIモデルを、異なる種類のハーネスを使って同時に最適化できます。これは、多様な実行環境への対応を可能にするものです。

具体的な成果として、Qwen3-30A3BというAIモデルを使い、ClawGym-Benchという評価基準で試しました。その結果、OpenClawとClaude Codeという異なるハーネスを使った場合で、Pass@1という成功率がそれぞれ9.98ポイント、14.81ポイント向上しました。しかも、200〜400ステップの最適化の間、安定した性能を維持しています。さらに、JobBenchやOfficeQAといった、より難しいタスクでも一貫した性能向上が見られました。この枠組みは、ブラックボックス型のハーネスを通じた一般的なAIエージェントの学習を、効果的、安定的に、そして拡張可能に行えることを示しています。多様な実行環境での統合的な学習を支えるものです。

私の見方

私は、AIエージェントが実社会で活躍するためには、複雑な環境に適応し、自律的に学習する能力が不可欠だと考えています。この新しい枠組みは、まさにその一歩です。特に、ブラックボックス型のハーネスに対応することで、既存の多様なシステムやサービスにAIを組み込む際の障壁が低くなります。サンドボックスによる隔離や、プロキシを使ったモデル呼び出しの捕捉は、学習の安定性と効率を飛躍的に高めるための重要な工夫です。これにより、AI開発者はより安心して、複雑なタスクにAIを適用できるようになります。ミックスハーネス学習の導入は、一つのAIモデルで複数の異なる環境に対応できる可能性を示しており、今後のAIの汎用性を大きく広げるでしょう。私自身、この技術が実際のプロダクト開発にどう活かせるか、最速で検証を進めるつもりです。