Webエージェントの観察モードとルーティングの課題
Webエージェントは、ブラウザをテキスト、ピクセル、あるいはその両方を通じて観察し、タスクを実行します。通常、この観察モードは一度設定されると全てのタスクで固定されますが、最適なモードをタスクごとに選択する「ルーティング」の可能性について疑問が呈されてきました。本研究では、このルーティングの有効性と限界について深く掘り下げています。
各観察モードの特性と補完性
私たちは、VisualWebArenaとWebArenaという2つの評価環境で、6つの異なる観察モードと8つのサイトモデルの組み合わせを評価しました。その結果、各モードは互いに補完的な関係にあることが判明しました。つまり、あるモードが解決できるタスクを他のモードは解決できず、また失敗の仕方も構造的に異なっています。さらに、タスクセットによって最適なモードが逆転することもあり、タスクごとにモードを選択することの潜在的な価値が示唆されました。
ルーティング戦略の限界と「再実行ノイズ」
タスクごとに最適なモードを正確に選択できる「オラクル」が存在すれば、その価値は非常に大きいように見えます。しかし、この価値は「再実行ノイズ」によって過大評価されていることが明らかになりました。同じモードを同じタスクで再実行しても、結果の12〜14%が変化します。これは、新しいモードを追加するのと同程度の改善が、単に既存モードを再実行するだけで得られることを意味します。このノイズが、ルーティングの真の価値を見えにくくしています。
現状の最適解：単一モードの固定
私たちは、5つの異なるルーティングポリシー（モード選択、強力なモードへのコスト配分、タスクテキストからのルール読み取り、信頼度カスケード、プールされたコスト層）をテストしました。しかし、これらのどのポリシーも、単一のよく選ばれたモードを固定する戦略を堅牢に上回ることはできませんでした。唯一の例外は、最もデータが少ないセルでの不安定な結果のみです。現状では、複雑なルーティング戦略よりも、シンプルに最適なモードを一つ選び固定する方が安定した性能を発揮すると言えます。
根本的な課題と将来への示唆
ルーティングが最も価値を発揮するはずの場所で、最も学習しにくいという根本的な問題が浮上しました。ルーティングの学習データ（成功時の監視シグナル）は、エージェントの成功率に依存します。つまり、エージェントが弱いほど、ルーターが得られる学習ラベルが少なくなり、ルーティングが最も必要とされる場面で学習が困難になるのです。しかし、これはルーティング自体に限界があるのではなく、現在のエージェントの能力に起因するものです。エージェントがより強力になれば、ラベル供給とルーティングの機会は共に増加し、この結果は覆される可能性があります。
PR
ElevenLabs →
ルーティングが難しいという結果は、結局は設計者の腕が問われるということです。最適なモードを自動で選ぶのは夢物語。何のために、どのモードを、どう使うか。この設計思想が勝敗を分けます。一次情報として、この限界を理解し、自分のプロダクトにどう落とし込むか、ぐるぐる考えます。
