IBMがAPIと知識検索のマルチホップ推論ベンチマーク「VAKRA」を発表

VAKRAベンチマークの登場

IBMは、企業環境で稼働するAIエージェントの能力を評価するための新たなベンチマーク「VAKRA」（e\textbf{V}aluating \textbf{A}PI and \textbf{K}nowledge \textbf{R}etrieval \textbf{A}gents）を発表しました。これまでのベンチマークは、API利用能力と知識検索能力を個別に評価する傾向にありました。しかし、実際のビジネスシーンでは、エージェントは構造化されたAPIを操作しながら、同時にドキュメントコレクションから必要な情報を検索し、それらを統合して推論する能力が求められます。VAKRAは、この統合的なマルチホップ推論能力を評価するために設計された画期的なベンチマークです。

評価範囲と難易度設定

VAKRAは、62の異なるドメインにわたる8,000以上の実行可能なAPIを網羅しています。評価タスクは、難易度別に3つの設定に分類されています。

1. 多様なAPIインタラクションスタイル: さまざまな形式のAPI操作に対応する能力を評価します。
2. 構造化APIに対するマルチホップ推論: 複数のAPIを連続して呼び出し、複雑な推論を行う能力を評価します。
3. 自然言語のツール使用ポリシー制約を伴うマルチソース推論: 自然言語で与えられた制約（例：「特定の情報源のみを使用する」「特定の操作は避ける」）の下で、複数の情報源（APIとドキュメント）を横断して推論する能力を評価します。

評価の正確性は、予測されたツール呼び出しを実際のAPIに対して再実行することで検証されます。これにより、複数の有効な解決パスが存在する場合でも適切に評価できる仕組みです。

最先端モデルの性能と課題

VAKRAを用いた評価では、ReActハーネスを用いてモデルの純粋な能力をエージェントアーキテクチャから分離し、フロンティアモデルやオープンウェイトモデルがテストされました。その結果、以下の点が明らかになりました。

• 最も性能の高いモデルでも、単一ホップのエンドポイントタスクでは70.4%の正答率に留まります。
• 複数のAPIを組み合わせる構成的なAPIタスクでは、性能は50〜51%に低下します。
• 推論の深度が増すにつれて、性能は50%以上も大幅に低下します。
• 特に、ポリシー制約のある質問では深刻な失敗が見られ、回答不能なクエリでは正答率が2.4%まで落ち込むケースもありました。

失敗の根本原因

詳細なトレース分析の結果、モデルの失敗はツール呼び出しのメカニズムそのものよりも、むしろ「言語媒介推論」に集中していることが判明しました。具体的には、エンティティの曖昧性解消（同じ意味を持つ異なる表現を識別する能力）や、クロスソースの根拠付け（異なる情報源から得られた情報を関連付けて推論する能力）といった部分で課題を抱えていることが示されています。

私の見方

VAKRAの発表は、AIエージェント開発における重要な一歩です。既存のベンチマークでは捉えきれなかった、API利用と知識検索を統合した複雑な推論能力の評価が可能になります。特に、最先端モデルでもマルチホップ推論やポリシー制約下で性能が大きく低下し、言語媒介推論がボトルネックとなっているという事実は、今後の研究開発の方向性を示すものです。単にモデルの規模を大きくするだけでなく、エージェントが情報をどのように解釈し、論理的に推論するかという、より高度な「思考プロセス」の設計が求められる時代に入ったと感じます。このベンチマークは、実用的なAIエージェントを構築するための明確な課題と指針を提供してくれるでしょう。