何が起きたか
AIエージェントがツールを利用してタスクを遂行する際、異なる言語で同じ指示を与えられた場合に、同じ手順（行動ポリシー）を踏むのか。この根本的な疑問に対し、大規模な検証が行われました。従来の多言語評価では、最終的な回答の正誤に焦点が当てられ、エージェントがどのようなプロセスを経たかは見過ごされがちでした。しかし、私が見るに、その「行動」こそが、システムのコスト、応答速度、失敗のパターン、そして監査可能性を決定する最も重要な要素です。
従来の評価と本研究の視点
これまでの多言語AIの評価は、主に最終的な出力結果を比較し、その背後にあるエージェントの行動プロセスにはあまり着目してきませんでした。しかし、私はこのアプローチに疑問を感じています。なぜなら、エージェントがどのようなツールを使い、どのような順序で操作したかという行動ポリシーこそが、そのシステムの真の性能と信頼性を測る指標だと考えるからです。本研究では、この行動ポリシーそのものを測定対象とし、8つのモデル、6つの並行ベンチマーク、41の言語、そして238万回に及ぶ試行を通じて、詳細な分析を行いました。
測定の複雑性と克服
行動ポリシーの測定は、見た目以上に複雑です。私は、素朴なトレース類似性の測定では正確な結論が得られないことを知っています。本研究では、5つの主要な交絡因子が指摘され、これらが結論を大きく左右する可能性が示されました。具体的には、短いトレースは高いスコアになりがちであること、空のトレースは完璧なスコアになること、無関係なトレースが偶然一致すること、各モデルの再現性が上限となること、そしてモデルが同じ質問に異なる回答をすることによるベースラインの欠如です。これらの因子を一つ一つ特定し、全て除去することで、より正確で信頼性の高い測定を実現しています。この修正作業によって、多言語間の行動ポリシーの乖離が、むしろより顕著になることが明らかになりました。
明らかになった行動パターン
分析の結果、多言語間の行動ポリシーの乖離は、単なるサンプリングノイズではなく、構造的なものであることが判明しました。驚くべきことに、再現性で正規化すると、異なる4つのフロンティアモデルは、貪欲デコード下で多言語間で71〜73%の行動ポリシーを維持することが示されました。これは、モデルの個性が分散のわずか5.7%しか説明しないという事実を伴います。一方で、約100億パラメータ以下の小規模モデルでは、この一貫性は崩壊します。また、エージェントが非英語タスクを処理する際、内部的に英語を介してルーティングする「英語へのピボット」が確認されました。これは因果的に重要な役割を果たし、モデルに指示してもこの行動を放棄しないことが示されています。さらに、単一のトレース抽出正規表現の不備が、多言語環境での測定上の失敗を引き起こすケースも発見されました。モデルの真の能力ではなく、測定方法が結果を歪めることがあるという事実です。
私の見方
この研究は、AIエージェントの多言語対応における実態を明確に示しています。行動ポリシーの7割以上を維持できることは、グローバル展開を考える上で非常に重要な指標です。しかし、残りの約3割の乖離、そして英語への構造的なピボットは、多言語対応のコストやレイテンシに直結する課題です。私は、この「英語ピボット」をいかに最適化し、あるいは回避するかが、今後の多言語AI開発の鍵を握ると見ています。また、測定方法一つで結果が大きく変わるという指摘は、私たちがAIの性能を評価する際に、常に批判的な視点を持つべきだということを改めて教えてくれます。RO合同会社では、この一次情報を元に、多言語対応プロダクトの設計を見直します。
ツール利用エージェントの多言語対応は、ビジネスのグローバル展開に直結します。行動ポリシーの7割維持は合格点ですが、残りの3割にこそ改善の余地がある。特に英語ピボットは、多言語対応のコストと遅延に直結するため、自社のプロダクト開発ではここを最優先で潰しにかかります。
