AIコードエージェントの進化とベンチマークの限界
AIがソフトウェア開発の現場で活躍する場面が増えています。特に、複雑なソフトウェアエンジニアリングタスクをAIコーディングエージェントに任せる動きは加速しています。しかし、その能力を測る既存のベンチマークは、すでに飽和状態にあると私は見ています。さらに深刻なのは、評価の品質そのものに疑問符がついていた点です。最近の調査では、既存の主要ベンチマークであるSWE-benchの未解決インスタンスの約60%にテストの欠陥が見つかっています。これは、正解を誤って拒否する厳しすぎるテストや、要求されていない事項までチェックする広すぎるテストが含まれていたためです。また、最先端のモデルが学習データから正解パッチをそのまま再現してしまうケースも確認されています。
新たな基準「SWE-Bench ProMax」の登場
このような背景から、私はAIコーディングエージェントの真の能力を測るための新しいベンチマークが必要だと感じていました。そこで登場したのが「SWE-Bench ProMax」です。これは、専門家が厳選した多言語コードリファクタリングベンチマークであり、実際のコミットから抽出された170のインスタンスで構成されています。対象言語はPython、Java、TypeScript、Go、C、C++、Rustの7種類に及びます。コードリファクタリングは、複数のファイルにわたる協調的で動作を維持する変更を必要とするため、エージェントの能力を試すには非常に難しく、現実的な課題であると私は考えています。
厳格なキュレーションプロセス
SWE-Bench ProMaxの大きな特徴は、その厳格なキュレーションプロセスにあります。既存ベンチマークで指摘された品質問題を直接解決するため、各インスタンスは多段階の審査を受けています。具体的には、問題記述はゼロから書き直され、曖昧さのない正確な仕様が提供されます。さらに、テストスイートは手動でレビューされ、厳しすぎるテストや広すぎるテストが排除されています。これにより、質の高い評価が保証されます。また、複雑さが不十分なタスクや、複数のファイルにわたる変更が少ないタスクはフィルタリングされています。
大規模かつ挑戦的な課題
SWE-Bench ProMaxは、既存のベンチマークを大幅に超える規模の、挑戦的な大規模リファクタリングタスクで構成されています。1インスタンスあたりの平均変更ファイル数は11.4、平均コード変更行数は261.6行に達します。これは、従来のベンチマークと比較して格段に大きな規模です。私が行った最先端モデルでの実験では、最適なモデルでも解決率はわずか41.2%に留まりました。この結果は、SWE-Bench ProMaxが現在のAIコーディングエージェントにとって、意味のある未飽和の課題であることを明確に示しています。このベンチマークは、AIエージェントのさらなる進化を促す重要な試金石となるでしょう。
学習コースAI活用アカデミー
コース一覧を見る →
既存ベンチマークの欠陥は、一次情報に触れていれば誰もが感じていたことです。テストが甘い、または変に厳しい。学習データからのコピペも横行していました。SWE-Bench ProMaxは、その不満を解消する最速の手段です。真のコードリファクタリング能力が問われます。
