Evo-Bench：LLMはエージェントの制御機構を自律的に進化させられるか？

エージェントの「ハーネス進化」とは何か

大規模言語モデル（LLM）の発展は、自律エージェントの能力を飛躍的に向上させました。しかし、これまでのエージェント評価は、与えられたタスクをどれだけ効率的に解決できるかという、静的な能力に焦点が当てられていたと感じます。これは、エージェントが真に自律的であるとは言えません。

そこで、新たなフロンティアとして注目されているのが「ハーネス進化」です。これは、エージェント自身が、その動作を制御する仕組み、つまり「ハーネス」を自律的に最適化する能力を指します。簡単に言えば、エージェントが自分で賢くなるための方法を学習し、改善していくということです。この能力を体系的に評価するための初のベンチマークとして「Evo-Bench」が発表されました。

従来の評価方法では、ベースとなるモデルの性能とハーネスの改善による効果を明確に分離することが困難でした。また、特定のタスクに過剰に最適化されたり、長期的な反復学習のプロセスを捉えきれなかったりする課題がありました。Evo-Benchは、これらの課題を解決するために設計されています。

Evo-Benchの評価手法と主要な発見

Evo-Benchは、エージェントのハーネス進化能力を厳密に評価するため、独自の「ハーネス誘導型構築フレームワーク」を採用しています。これは、補助タスクを用いた進化を通じて、フレームワークの改善に真に敏感なタスクを特定し、その上で感度を考慮した層別分割を行うことで、評価の堅牢性と汎用性を確保するものです。私の見方では、これにより、単なるモデルの性能向上ではなく、ハーネス自体の進化がもたらす効果を正確に測定できるようになったと感じます。

評価は、Search（検索）、Office（オフィス業務）、General（汎用）の3つのエージェントドメインで行われました。9つの主要なフロンティアモデルとオープンウェイトモデルを対象に広範な評価を実施した結果、トップモデルは最大で16.6ポイントという大幅な絶対的性能向上を達成し、人間が設計した最先端のベースラインに肉薄する結果を示しました。これは、エージェントが自ら制御機構を進化させる能力が、非常に高いレベルに達していることを意味します。

タスクごとの性能差とハーネスの汎用性

Evo-Benchの評価からは、興味深いタスクごとの性能差が明らかになりました。自律的なハーネス進化は、GeneralタスクやSearchタスクにおいて、人工的に設計されたハーネスを上回る優れた性能を発揮しました。これは、これらのドメインにおいて、エージェントが自ら最適な戦略を見つけ出す能力が高いことを示唆しています。特にSearchタスクでは、その強みが顕著でした。

一方で、Officeタスクでは自律進化が苦戦するという結果が出ています。Officeタスクは、非常に具体的で複雑な処理ワークフローを要求されることが多く、この点がエージェントの自律的な最適化にとって課題となっているようです。これは、今後の研究開発において、Officeタスクにおけるハーネス進化の最適化が重要なテーマとなることを示しています。

また、分析からは「早期飽和」といった時間的な異常も指摘されています。しかし、最も重要な発見の一つは、Evo-Benchによって合成されたハーネスが、非常に転移性の高い推論構造として機能することです。これは、多様なポリシーモデルに対して一貫して性能向上をもたらすことが実証されており、一度最適化されたハーネスが、異なるエージェントやタスクに再利用できる可能性を示唆しています。これは、エージェント開発の効率化に大きく貢献する知見です。