AIの行動計画における課題
AIがツールを使いこなすには、具体的な行動計画が必要です。人間が書いた行動計画は、AIの能力を大きく引き上げます。しかし、AI自身が自動で生成する行動計画は、人間が書いたものよりも性能が低いという課題がありました。この差は、単に手順に従うことと、実行結果からその手順を改善することとは、別の能力であることを示しています。現在のAIの仕組みでは、一度行動計画を生成すると、その後の実行で問題があっても、次に生成する行動計画にその経験が直接活かされにくいという限界がありました。
WERの仕組み
この課題を解決するため、「WER（Write, Execute, Refine）」という新しい多段階の枠組みが開発されました。WERは、AIが実行経験から学習し、行動計画を最適化するシステムを訓練します。具体的には、この改善システムが行動計画を提案します。次に、別のAIがその行動計画を繰り返し実行します。そして、プログラムによる検証役が、実行結果を評価し、点数をつけます。この一連の流れを繰り返すことで、AIはより効果的な行動計画の作り方を学習していきます。
実行結果からの学習
WERの重要な点は、実行結果をどのように学習に使うかです。検証役がつけた点数は、行動計画の良し悪しを示します。成功と失敗が混在する実行記録の中から、特に学習に役立つデータを選び出します。例えば、成功した実行経路と失敗した実行経路を組み合わせたものが、次の学習段階における改善のための状態となります。これにより、AIは過去の行動計画がどのような結果をもたらしたかを具体的に学び、その経験を次の行動計画の生成に活かすことができます。この「ぐるぐる回す」学習の仕組みが、AIの自律的な能力向上を支えます。
性能向上とその意味
WERは、BFCL v4マルチターンとtau2-benchという二つの評価基準で、大きな性能向上を示しました。行動計画を使わない場合の基準と比べると、それぞれ7.80点と3.85点、平均的な正解率が向上しています。さらに、同じ改善の仕組みを使っても、WERのように改善システムを訓練しない場合と比較して、9.35点と10.29点も高い正解率を達成しました。訓練された4Bの改善システムは、BFCL v4で76.63パーセントの正解率を記録し、他の汎用的なAIモデルよりも優れた結果を出しています。これは、AIが自ら行動計画を改善する能力が、実用レベルに達しつつあることを意味します。
私の見方
この技術は、AIの自律性を大きく高めるものです。人間が細かく指示を出さなくても、AIが自ら試行錯誤し、最適な行動計画を見つけ出す。これは、AIがより複雑なタスクをこなすための重要な一歩です。特に、業務自動化の分野では、AIが自ら手順を調整し、効率を上げていくことが期待されます。私の経験上、このような自己改善の仕組みは、プロダクト開発において非常に価値があります。一度作ったものが、使われながら賢くなる。このサイクルをいかに早く回せるかが、これからの競争力を左右すると感じます。
PR
ElevenLabs →
AIが自ら行動計画を調整する時代です。人間が指示を出すだけでなく、AIにどう改善させるか。この設計が勝敗を分けます。一次情報として、この仕組みを自分のプロダクトに組み込み、ぐるぐる回して検証します。
