0 / 6 節読了

長期にわたる機械操作の難しさ

長い一連の作業をこなす機械の操作は、これまでAI分野における大きな課題でした。例えば、複数の部品を順序立てて組み立てるような複雑な作業です。視覚と言語と行動を扱うVLAモデルは、個々の動作、つまり「特定の部品をつかむ」「所定の位置に置く」といった単一のスキルを高い精度で実行できます。しかし、これらの個別のスキルを連結して一つの多段階作業を行う場合、問題が発生しやすくなります。小さなエラーが連鎖的に積み重なり、最終的に全体の作業が失敗に終わることが多くありました。また、ある部分作業が成功したとしても、その結果が次の部分作業にとって利用しにくい形であるために、全体として先に進めなくなることも頻繁に起こっていました。

従来の仕組みが抱える限界

これまでのアプローチでは、大規模言語モデルのエージェントが全体の計画を言語で立て、自由空間での移動には計算に基づく基本動作を用い、物体に触れるような複雑な動作のみVLAモデルに任せる方法が主流でした。そして、学習した調整内容を言語記憶に書き込む仕組みです。しかし、このやり方を長期的な作業に適用すると、二つの大きな限界に直面します。一つ目は、全体の作業を通して試行錯誤するコストが非常に高いことです。もし一つの部分作業にT回の試行が必要だとすると、K個の部分作業からなる全体では、およそTのK乗回の試行が必要になります。さらに、全体が失敗しても、どの部分作業が原因で問題が起きたのかを特定するのが困難でした。二つ目は、部分作業間の引き継ぎ（遷移）に関する表現が欠如している点です。VLAモデルによる動作には「終了条件」はあっても、「開始条件」がありませんでした。そのため、ある部分作業が成功したとしても、後続の部分作業がその結果を活用できない形で終わってしまうことが頻繁に発生したのです。

BATONによる根本的な解決策

「BATON」は、これらの課題を解決するために開発された新しいシステムです。このシステムは、二つの主要な仕組みで問題を克服します。一つは、試行錯誤の単位を全体から個別の部分作業へと変えることです。もう一つは、部分作業間の引き継ぎを意識した記憶を取り入れることです。これにより、作業機械はより効率的に学習し、複雑な作業をスムーズに実行できるようになります。このシステムは、既存の設定値を変更することなく、これらの改善を実現しています。

効率的な試行錯誤と失敗原因の特定

BATONは、試行錯誤の単位を個別の部分作業に設定しました。各部分作業は、比較的短い期間で集中的に試行錯誤され、その解決策が記憶に保存されます。そして、長期的な一連の作業は、これらの個別の解決策を組み合わせて実行されるのです。このアプローチにより、試行錯誤にかかるコストはTのK乗からTかけるKへと大幅に削減されます。また、失敗が起きた場合でも、どの単一の部分作業で問題が発生したのかを正確に特定できます。個々の部分作業で得られた成功体験は記憶され、長い一連の作業はこれらの成功体験を組み合わせて実行されます。この仕組みにより、学習の効率が飛躍的に向上します。

作業間のスムーズな引き継ぎを実現

BATONは、「遷移を意識した記憶」という新しい考え方を導入しました。これにより、部分作業間の引き継ぎが格段にスムーズになります。具体的には、三つの遷移管理を行います。一つは「呼び出し遷移」です。VLAモデルを呼び出す前に、検証エージェントが手首からの視点で現在の状況を確認します。これにより、VLAモデルが適切な状態で開始されることを保証します。二つ目は「引き渡し遷移」です。前の部分作業で残ったものが、次の部分作業の開始状態を邪魔しないように調整します。そして三つ目は「先読み遷移」です。次の部分作業が最も利用しやすいやり方を選択します。これらの仕組みにより、一連の作業全体での成功率が大きく向上します。

実際の効果と今後の展望

この新しいシステムは、長期的な機械操作の評価に使われる「RoboMemArena」というベンチマークでその効果を発揮しました。BATONは、これまでの最高水準のシステムと比較して、タスクの成功率を11.6%向上させ、累積成功率も14.9%高めました。この成果は、既存の設定値を変更することなく達成されています。この進歩は、工場での自動化や、人手では難しい精密な作業など、幅広い分野での作業機械の活用を加速させる可能性を秘めています。私の見方では、このような「全体を俯瞰し、部分を最適化し、連携を強化する」システムこそが、これからのAI活用の鍵を握ると考えます。

PR

ElevenLabs →
柴亮太
柴亮太の視点

長期的な作業は、部分最適の積み重ねだけではうまくいきません。全体最適をどう設計するかが問われる。BATONはそこを突き詰めたシステムです。私の開発でも、個別の機能は動くが全体で破綻する経験は山ほどあります。一次情報として、この仕組みを早く触りたいです。