0 / 4 節読了

VLMの「分からない」問題

Vision-Language Models (VLM) が不明瞭な情報に対して回答を控える能力、いわゆるEpistemic Restraintが現在、業界で注目を集めています。視覚情報が不十分な場合、モデルは「分からない」と答えるべきであり、これは信頼性の高いAIシステムを構築する上で不可欠な要素です。しかし、私の調査では、多くのVLMがこの重要な能力に欠けていることが明らかになりました。

TRAPSBenchとPECSによる検証

この問題を深く検証するため、TRAPSBenchという新しいベンチマークが開発されました。TRAPSBenchは、物理法則に基づいた動画のペアで構成されており、片方の動画は視覚情報から結果が判断できないように意図的に変更されています。これにより、モデルがいつ回答を控えるべきかを客観的に評価できます。また、評価指標としてPECS（Penalized Epistemic Calibration Score）が導入されました。PECSは、正解時には正しく回答し、不明時には回答を控えることをモデルに要求します。私のテストでは、16種類のVLM（5ファミリー）で最高のPECSは0.292と非常に低い結果でした。

認識と表現のギャップ

驚くべきことに、VLMは内部的には「分からない」状況を認識できていました。モデルの隠れ層から、回答可能性が0.91 AUROCという高い精度でデコード可能です。これは、ボトルネックが情報を「認識する能力」ではなく、「それを外部に適切に『表現する能力』」にあることを明確に示しています。さらに、単層の特定の方向を操作することで、回答抑制を誘発したり抑制したりできることも判明しました。この結果は、Qwen、Gemma、LLaVAといった3つのオープンウェイトモデルファミリーでも再現されています。また、視覚的な不確実性よりも、テキスト的な不可能性の方が約4倍検出しやすいという傾向も見られます。

業界への示唆と今後の展望

この「表現と出力のギャップ」は、VLMの実用化において大きな課題です。モデルが自信のない回答を生成し続けると、ユーザーの信頼を損ねる可能性があります。私の見方では、この問題の解決には、出力層での積極的な介入が必要です。単にモデルの規模を大きくするだけでは解決しないでしょう。より洗練されたアブステンション（回答抑制）メカニズムを設計し、実装することが求められます。これは、信頼性の高いAIシステムを構築するための重要なステップです。

書籍ゼロからはじめるCodex

Kindleで読む →
柴亮太
柴亮太の視点

VLMが「分からない」を表現できないのは致命的です。認識はできているのに出力できない。これはモデルの設計思想に根本的な問題があると感じます。一次情報として、このギャップをどう埋めるか、出力層の設計を最速でぐるぐる回す必要があります。