新しい機械学習の仕組み「ADEPT」
「ADEPT」は、機械が非常に器用な動きを学ぶための新しい強化学習の枠組みです。これは、多くの自由度を持つその装置が、長い一連の作業を直接、視覚と触覚からの生の情報に基づいてこなすことを目指しています。この仕組みは、仮想環境で学んだことを現実の機械に適用する「仮想から実機への転移」を可能にします。これにより、複雑な作業を人間並みの速さで、巧みに実行できるようになります。
事前学習と追加学習の組み合わせ
ADEPTの学習は二段階に分かれます。まず、機械は「事前学習」として、物を所定の位置に置き直すという一般的な作業を学びます。この事前学習で得られた基本的な振る舞いを「知識の土台」として使います。次に、具体的な作業を行うための「追加学習」を行います。この方法により、多指の機械では一から学ぶのが難しい新しい振る舞いを効率的に習得できます。同じスキルを毎回繰り返し学ぶ手間を省くことが可能です。
仮想環境から実機への適用と安定化
事前学習された方針は、追加学習の初期段階で物を置き直す作業を未学習で実行できます。しかし、強化学習で単純に微調整を行うと、この能力が急速に失われる問題がありました。ADEPTでは、この問題を解決するための安定した追加学習方法を採用しています。具体的には、振る舞いの模倣による知識の抽出、評価役の初期化、そして慎重な方針に沿った更新を組み合わせます。これにより、学習した能力を維持しつつ、安全に機械の動きの巧みさを最大限に引き出すことができます。さらに、動きの安全性を確保するため、ロボットの動きを仲介する「ジョイント空間幾何学的制御層」。毎回本人確認をやり直す設計のことです。という仕組みも導入されています。
知識の圧縮と現実世界への転移
追加学習で高度な振る舞いを習得した「教師役」の知識は、より効率的な「生徒役」の機械に知識の抽出によって圧縮されます。この「生徒役」は、Kuka-Allegro（23自由度、2つのRGBカメラ搭載）とFlexiv-Sharpa（29自由度、2つのRGBカメラと5つの視覚ベース触覚センサー搭載）という二種類の機体で、仮想環境から現実世界への未学習での転移に成功しています。これらの機体は、困難な初期状態からでも、人間並みの速さで器用に複雑な作業をこなすことが可能です。
私の見方と今後の展望
この技術は、機械がより複雑な環境で自律的に作業を行う未来に不可欠です。特に、仮想環境での学習成果を現実の機械にスムーズに適用できる点は大きな進歩です。私の経験上、この「仮想から実機への転移」は常に大きな壁でした。ADEPTは、この壁を乗り越える具体的な解決策を示しています。多自由度を持つ機体で、人間並みの速さと器用さで作業をこなせることは、産業界だけでなく、様々な分野での機械活用を加速させるでしょう。例えば、精密な組み立て作業や、災害現場での探索・救助活動など、これまで人間にしかできなかった作業を機械が担う可能性を広げます。この技術がさらに発展することで、私たちの生活や産業に計り知れない影響を与えることになると確信しています。
PR
ElevenLabs →
ロボットの器用さは、学習の設計で決まります。事前学習と追加学習の組み合わせは、まさに一次情報をぐるぐる回す考え方です。仮想環境での学習を実機で活かすには、この設計が全てです。私はこのアプローチが正解だと断言します。
