0 / 4 節読了

VLM評価の新たな視点：行動信頼性

既存のVision-Language Model（VLM）の評価は、画像から何を認識し、どのように推論するかという「知覚と推論の精度」に重点を置いてきました。しかし、現実世界では常に完璧な情報が提供されるわけではありません。画像が不鮮明であったり、一部が欠落していたり、あるいは意図的に誤解を招く情報が含まれていたりする状況で、VLMがどのように振る舞うか、その「行動信頼性」についてはこれまで十分な注目が集まっていませんでした。私はこの点が、VLMを実際の業務に組み込む上で極めて重要な課題だと感じています。情報が不十分な時に、モデルが堂々と間違った情報を生成する「幻覚（ハルシネーション）」は、特に科学や医療といった厳密性が求められる分野では致命的な問題となり得ます。

SciFigBenchとA-R-Iフレームワークの導入

この課題に対処するため、新たに「SciFigBench」という診断VLMベンチマークが導入されました。これは科学図の理解に特化しており、知覚、推論、そして不確実性下での行動信頼性を統合的に評価するように設計されています。250枚の科学図と600時間以上をかけた高品質な人間によるアノテーションを基盤とし、画像変換や推論質問、抵抗プローブなど34,000以上の評価設定でモデルをストレステストします。さらに、モデルが不十分な証拠を認めるか（Admittance）、誤解を招く文脈に抵抗するか（Resistance）、部分的な情報から慎重に推論するか（Inductance）を評価する「A-R-Iフレームワーク」も提案されました。これにより、単なる正解率だけでなく、モデルの「賢い振る舞い」を多角的に測定できるようになっています。

主要モデルの挙動比較：GPT-5.2とGemini 3.1 Pro

SciFigBenchとA-R-Iフレームワークを用いた評価の結果は、モデル間の行動特性に顕著な違いがあることを示しています。例えば、GPT-5.2は記述品質（MQM 91.6）と推論精度（78.4%）において高い性能を発揮しました。しかし、読めない内容を含むケースでは、96%もの割合で幻覚（ハルシネーション）を引き起こし、存在しない情報を生成してしまう傾向が明らかになりました。一方で、同等の能力を持つとされるGemini 3.1 Proは、記述品質（MQM 90.2）と推論精度（81.0%）でGPT-5.2に匹敵しながらも、不確実なケースでは71%の割合で「不確実性を認める」挙動を示し、さらに最も高い抵抗スコア（0.91）を達成しました。これは、情報が不十分な際に、モデルが無理に答えを出さずに「わからない」と判断する能力、あるいは誤った情報に惑わされない能力が、モデルによって大きく異なることを意味します。

私の見方：実用化における行動信頼性の重要性

今回の研究結果は、VLMの実用化において、知覚や推論の「精度」だけでなく、「行動信頼性」が極めて重要であることを明確に示しています。特に科学分野のような、誤情報が深刻な結果を招きかねない領域では、モデルが高い精度を誇る一方で幻覚を頻発するようでは、信頼して導入することはできません。私がAIプロダクトを開発する上でも、この「幻覚」の問題は常に最大の懸念の一つです。モデルが「わからない」と正直に答える能力、あるいは誤った情報に流されない頑健性こそが、ユーザーからの信頼を勝ち取り、実際のワークフローに深く組み込まれるための絶対条件だと考えます。今後は、この行動信頼性をどのように高め、評価していくかが、VLM開発の主戦場になるでしょう。

書籍ゼロからはじめるCodex

Kindleで読む →
柴亮太
柴亮太の視点

VLMの幻覚問題は現場で致命的です。精度が高くても、嘘をつくモデルは使い物になりません。私が開発するプロダクトでは、不確実性を認める能力が最優先事項です。一次情報をぐるぐる回し、幻覚を徹底的に潰す設計が不可欠です。