VLMのゼロショット制御における視覚的根拠の課題
Vision-Language Model (VLM) は、事前学習された知識を基に、未知のタスクをゼロショットで制御する能力が期待されています。しかし、その決定が本当に視覚情報に深く根ざしているのか、という根本的な疑問が提起されていました。シミュレータ環境では、モデルが視覚的な認識を伴わなくても、シミュレータの挙動特性や保守的な行動パターンによって、見かけ上良好な結果を出すことが少なくありません。これが、VLMの真の認識能力を評価する上で大きな障壁となっていました。今回の研究は、この問題に対し、厳密な検証アプローチで切り込んでいます。
広範な検証と衝撃的な結果
私たちは、この疑問を解明するため、多岐にわたる検証を行いました。具体的には、画像を意図的に「盲目」にする入力アブレーション、同一入力を繰り返すテスト、車線軸に沿った左右反転、非視覚的なベースラインとの比較、そしてパイプラインの整合性チェックなどです。これらのテストを、9つの直接行動モデル、6つの構造化されたローカルVLM、さらにVLM-MPC階層を含む広範なモデル群に対して適用しました。合計32,874回の評価を実施し、2種類のロボットと3種類のシミュレータでデータを収集しました。 結果は衝撃的でした。直接制御モデルの多くは期待外れで、単に「常に低速で進む」というシンプルなポリシーが、スクリプト化された幾何学的制御器よりも優れた性能を示すケースもありました。複数のモデルは画像の変化に対してほとんど不変であり、実質的に視覚情報を使っていないことが示唆されました。縦方向の危険は認識できても、左右反転の状況で「左」と「右」の行動を適切に変換できないモデルが多数見られました。局所的なVLMも、縦方向と横方向の視覚的根拠の基準を同時に満たすものはありませんでした。
VLMの真価と限定的な役割
しかし、全てのVLMが視覚情報を活用できないわけではありません。画像のみを使用する決定論的なポジティブ制御では、先行車との距離を平均誤差0.090mという高精度で推定し、左右反転に対しても完全に同変性を示しました。これは、入力データ自体には十分な視覚情報が含まれており、VLMの失敗は普遍的なものではなく、特定のモジュールに起因するものであることを示しています。 この結果を踏まえ、私たちは後付けで、情報漏洩を制御した対称性コンセンサスガーディアンを導入しました。これは、キャリブレーションフレームから2つのモデルを選択し、元のビューと反転ビューの両方で4つの危険投票のうち2つを凍結するものです。これにより、272のホールドアウトフレームで0.954という高いバランス精度を達成しました。 これらの知見は、現在のVLMが万能な「ゼロショット制御器」として機能するのではなく、特定の条件下で「限定的かつ選択的な危険補助機能」として活用されるべきであることを強く示唆しています。VLMの真価は、その強みと弱みを理解し、適切な役割に配置することで最大限に引き出されるでしょう。
PR
文賢 →
VLMがゼロショット制御で視覚的根拠に欠けるのは、想定内の結果です。見かけの性能に騙されず、何が本当に機能しているかを見極める必要があります。一次情報で確認し、安易な全自動化に走らないことが重要です。私の経験上、泥臭いチューニングが最終的に差を生みます。
