VLMの判断基準の謎
VLMは画像とテキストの両方から情報を得て、複雑な問いに答えるシステムです。しかし、これらの情報源が互いに矛盾したり、片方が読み取りにくくなったりした場合、AIがどちらの情報をより強く信じるかは明確ではありませんでした。この情報源への重み付けがどのように変化するのかを調べる研究が進められています。
研究では、意図的に画像かテキストのどちらかを4段階で劣化させました。そして、もう一方の情報はクリアな状態を保ちます。この設定で、AIがどの情報源に依存するかを追跡しました。これにより、AIが情報源の品質に応じてどのように判断を変えるのかが分かります。
算術とグラフで異なる傾向
算術問題では、AIの判断に特定の傾向が見られました。6つのオープンなVLMのうち5つは、画像が劣化した時よりもテキストが劣化した時に、より強くテキスト情報から離れる動きを示しました。これは、算術問題を解く際には、AIがテキスト情報をより重視していることを意味します。
一方で、グラフ読み取りのタスクでは全く逆の傾向が確認されました。このタスクでは、AIは劣化した視覚情報、つまり画像から強く離れる動きを見せました。これは、グラフから情報を読み取る際には、AIが画像をより強く信じていることを示しています。この逆転現象は、単一の情報源の精度低下を調整した後も、またグラフを単純な表の画像に置き換えても持続しました。
最新AIも同様の動き
GPT-5.6-LunaやGemini-3.5-Flashといった最新のAPI提供AIも、この傾向を再現しました。APIとは、プログラム同士が連携するための窓口のことです。これらのAIも、グラフ読み取りのタスクでは、劣化した視覚情報から強く離れる動きを見せています。特にGPT-5.6-Lunaは、算術問題でのテキスト重視の傾向も一致しました。
これらの結果から、VLMがどの情報源に依存するかは固定ではないと分かります。タスクの種類や情報の構造、使用するAIの種類、そして評価の方法によって、その依存度は大きく変わるのです。AIの判断は一様ではありません。AIの力を最大限に引き出すためには、タスクに応じた情報設計が不可欠です。
私の見方
AIが画像とテキストのどちらを信じるか。それはタスクによって変わる、という結果は非常に重要です。私の経験上、これはAIプロダクト開発の根幹を揺るがす話です。AIは万能ではありません。何を任せるか、どういう情報を与えるかで結果は全く変わります。
算術ではテキスト、グラフでは画像。この傾向を理解せずにAIを導入すると、期待通りの結果は出ません。AIに「賢く」判断させるには、人間がその判断基準を理解し、適切な情報設計を施す必要があります。最速で結果を出すには、この一次情報を元に、プロダクトの設計をぐるぐる回すのが正解です。
PR
文賢 →
VLMの判断基準は、タスク設計で決まります。入れた情報がそのまま結果になるわけではありません。何を信じさせるか、設計者の力量が問われる時代です。最速で一次情報を取りに行き、プロダクトに落とし込みます。
