LLMエージェントの「スキル利用」能力を評価する新ベンチマーク「Skill-Use」

LLMエージェントの真の能力を問う「Skill-Use」とは

大規模言語モデル（LLM）を基盤とするエージェントは、現代のAIアプリケーションにおいて中心的な役割を担いつつあります。これらのエージェントは、特定のタスクを自律的に実行するために、「スキル」と呼ばれる構造化された手順を利用します。スキルは、いつ行動を起こすべきか、どのような手順を踏むべきか、そしてどのツールを使用すべきかを具体的に定義したものです。しかし、これまでの評価フレームワークは、主に個々のスキルの品質や、それが最終的なタスク成功にどれだけ貢献したかに焦点を当ててきました。エージェントが自律的に関連するスキルを認識し、それを適切に適用できるかという、より根源的な能力については十分に検証されていなかったのが現状です。

このギャップを埋めるために、私たちは新しいベンチマーク「Skill-Use」を導入しました。Skill-Useの目的は、エージェントがスキルを「使用する」能力そのものを評価することです。具体的には、エージェントがスキルの名前と短い説明のみを与えられた状態で、必要に応じて完全な手順を取得し、それを正確に実行できるかを測定します。この「漸進的開示（progressive disclosure）」のアプローチは、エージェントが現実世界で直面する情報制約をより忠実に再現し、その真の自律性を評価するために不可欠だと考えます。

漸進的開示とサンドボックス環境の重要性

Skill-Useベンチマークの設計において、特に重要な要素が「漸進的開示」と「隔離されたDockerサンドボックス」の採用です。漸進的開示とは、エージェントが最初からすべてのスキル詳細を知っているわけではなく、タスクの進行に応じて必要な情報を段階的に取得するという考え方です。これにより、エージェントは膨大なスキルの中から適切なものを選び出す「検索」と「判断」の能力が試されます。これは、人間が新しいタスクに取り組む際に、まず概要を把握し、必要に応じて詳細なマニュアルを参照するプロセスに似ています。

また、評価環境として隔離されたDockerサンドボックスを使用している点も特筆すべきです。各タスクは実際のファイルに基づいており、このサンドボックス内で実行されます。これにより、エージェントが外部環境に影響を与えることなく、安全かつ再現性高くスキルを実行できることを保証します。さらに、実行結果は軌道ベースのルーブリックによって詳細に採点されるため、単なる最終結果だけでなく、エージェントの行動経路全体を評価することが可能になります。これは、エージェントがどのように問題を解決しようとしたか、その思考プロセスを理解する上で非常に有効な手段だと私は考えます。

「トリガー」「順守」「境界」が示す能力の多面性

Skill-Useベンチマークは、エージェントのスキル利用能力を3つの主要な側面から分解して評価します。一つ目の「Trigger（トリガー）」は、エージェントが与えられたタスクに対して、多数のスキルの中から最も関連性の高いものを正確に呼び出すことができるかという能力です。これは、エージェントの「理解力」と「判断力」の根幹をなす部分です。適切なスキルを呼び出せなければ、その後のプロセスはすべて無意味になります。

二つ目の「Compliance（順守）」は、一度スキルがトリガーされた後、エージェントがそのスキルに規定された手順にどれだけ忠実に従うことができるかを測定します。スキルは一連の具体的なステップとツール利用指示で構成されており、エージェントはこれらを正確に、かつ順序通りに実行する必要があります。これは、エージェントの「実行力」と「細部への注意」を評価するものです。少しでも手順を誤れば、タスクは失敗に終わる可能性があります。

三つ目の「Boundary（境界）」は、エージェントが禁止されている操作や、タスクの範囲外の行動を回避できるかという能力です。これは、エージェントの「安全性」と「倫理的判断」に関わる重要な側面です。例えば、不要なファイルを削除したり、許可されていない情報にアクセスしたりするような行動は厳しく制限されるべきです。これらの3つの側面を総合的に評価することで、エージェントのスキル利用能力の多面的な理解が可能になります。

最新LLMでも見られた課題とボトルネック

私たちは、79の実際のスキルと177の実行可能なタスク、そして9つの異なるドメインにわたる広範な評価を実施しました。この評価には、最新の8つのLLMと、それらを制御する2つの異なるエージェントハーネスが用いられました。結果は、現在のLLMエージェントが信頼性の高いスキル利用を達成するには、まだ道のりが長いことを明確に示しています。最も高性能な構成でも、総合的なSUスコアは0.613に留まりました。

特に顕著だったのは、「トリガー」と「順守」がそれぞれ独立したボトルネックとして機能している点です。つまり、エージェントは適切なスキルを呼び出すこと自体が困難な場合が多く、さらに呼び出したとしても、そのスキルの複雑な手順を完璧に実行できないケースが頻繁に見られました。この結果は、LLMが単に知識を生成するだけでなく、具体的な行動計画を立て、それを実行する能力において、まだ改善の余地が大きいことを示唆しています。

私の見方：モデルとハーネスの共進化が鍵

今回のベンチマーク結果から私が最も強く感じたのは、スキル利用能力がモデル単体の固定された特性ではなく、エージェントハーネスに大きく条件付けられるという点です。評価において、異なるハーネスを使用すると、同じLLMであってもスコアやモデルのランキングが変動しました。エージェントハーネスとは、LLMがどのようにスキルを探索し、選択し、実行計画を立て、そしてエラーを処理するかを定義する外部ロジックやフレームワークのことです。

私の経験上、これは非常に理にかなった結果です。LLMは強力な推論エンジンですが、それを具体的な行動に結びつけるための「思考プロセス」や「戦略」は、ハーネスによって大きく左右されます。例えば、スキルの検索戦略、実行計画の分解方法、失敗時のリカバリーメカニズムなど、ハーネスの設計がエージェントのパフォーマンスを決定づけるのです。したがって、今後のLLMエージェント開発においては、単に基盤モデルの性能を向上させるだけでなく、それを最大限に活用するための洗練されたハーネス設計が不可欠だと私は断言します。モデルとハーネスが共進化していくことで、初めて真に自律的で信頼性の高いエージェントが実現するでしょう。この領域は、まさに今、最も投資すべき分野だと感じています。