AI開発エージェントの新たな課題
大規模な開発作業では、AIエージェントがテスト、取り込み、設定、移行ルールなど、多くの情報を一貫して扱う必要があります。これを「整合性のずれ」と呼びます。エージェントが参照できる情報（参照範囲）や、記憶された知識（学習済み知識）が、このずれを解決する鍵です。編集時には、必要な情報が最近の参照範囲にあるか、または記憶された知識から来るかを判断します。どちらにもない情報は「整合性のずれ」として積み重なります。
情報不足が引き起こす影響
未知のAPIを使った作業では、情報が全くないとエージェントは作業を完了できません。しかし、必要な情報を提示すると、作業は成功します。実在するライブラリの名前が変更された場合、エージェントが記憶していた知識は無効になります。この時、すべてのエージェントが同じ場所で失敗し、同じテストを通過し、同じテストで失敗しました。情報が「利用できるか」が結果を左右し、情報源との「距離」は関係ありません。情報が提供されれば、遠くにあっても近くにあっても同じように機能します。
評価方法と今後の改善点
開発作業の効率は、エージェントが消費するトークン数で大きく変わります。同じテストを全て通過する設定でも、消費トークン数は10倍以上違うことがあります。情報が不足している場合、より多くのトークンを使っても結果は変わりません。情報不足は「作業不足」ではなく「間違った作業」を生みます。エージェントは何か作業を求められると、ファイルをでっち上げたり、値を推測したりします。そのため、読み込みに基づいて構築された評価方法は、既に埋められた誤った穴を探すことになります。エージェントが「行き詰まった」と報告する頻度は、そのエージェントの特性によります。既存の基準とコードが食い違う場合、エージェントはたとえそれが悪いコードを導いても基準に従います。古い慣習ファイルは、ファイルがない場合よりも悪い結果を招くことがあります。SWEベンチのような、エージェントがリポジトリを既に知っている可能性が高い場面では、読み込みが成功を予測しなくなります。エージェントが書き込みを行う際、その作業に必要な情報が利用可能であることを確認し、エージェントが「読み込んだもの」ではなく「生成したもの」に対して利用可能性をチェックすべきです。
PR
ElevenLabs →
今回の研究は、AIに何を「任せるか」の設計思想を問うています。情報不足で間違ったコードを出すのは、人間と同じです。一次情報と適切な指示でぐるぐる回すのが最速です。
