IBMがAPIと知識検索のマルチホップ推論ベンチマーク「VAKRA」を発表

IBMは、企業向けAIエージェントのAPI利用と知識検索能力を統合的に評価する新ベンチマーク「VAKRA」を発表しました。既存ベンチマークが個別に評価する中、VAKRAは8,000以上のAPIと62ドメインを網羅し、マルチホップ推論やポリシー制約下での性能を検証します。評価結果は、最先端モデルでも推論深度が増すと性能が大幅に低下し、特に言語媒介推論に課題があることを示しています。