VLMの新たな偏り：見た目の影響
画像と言葉を理解するAI、VLMは、採用支援や推薦など、産業の意思決定システムで活用が進んでいます。そのため、VLMが視覚情報と文字情報をどう処理するか、詳しく分析することが重要です。 今回、私たちはVLMが画像として表示された文字をどう解釈するかを調べました。特に、色や対比といった視覚的な見た目の偏りが、AIの判断にどう影響するかを研究しました。
ステルス視覚プロンプトによる検証
この研究のために、「ステルス視覚プロンプト」という手法を導入しました。これは、文字の視覚的な見た目をわずかに変えるものです。しかし、その意味内容は一切変えません。 このプロンプトを使って、文字の視覚的な装飾を意図的に調整しました。そして、それがVLMの分析にどのような影響を与えるかを測定しました。さらに、このような視覚的な変化が、VLMの内部にある視覚エンコーダの潜在表現にどう影響するかを分析しました。
色と対比がもたらす誤解
実験から、驚くべき結果が見えてきました。ポジティブな意味を持つ言葉を緑色にすると、感情の予測が一貫してポジティブな方向に傾くのです。その結果、VLMは、その文章に含まれるネガティブな内容を適切に認識できないことが多くありました。 この挙動は、色の変化によって引き起こされる視覚エンコーダの潜在表現の変化と関連していることが、私たちの分析で示されました。加えて、文字と背景の対比を減らすと、VLMは視覚的に目立つ手がかりに過度に依存する傾向があります。これにより、画像質問応答（VQA）の回答が不正確になることが分かりました。
人間とAIの理解の乖離
これらの結果は、表示された文字の視覚的な見た目が、VLMの解釈を導く可能性があることを示唆しています。それは、人間の意味理解とは異なる方法で判断を下すことがある、ということです。AIが視覚的な偏りによって、本来の意味を誤解する危険性があることを私たちは認識すべきです。
PR
文賢 →
AIは見た目で判断しない、という思い込みは危険です。色や対比がAIの判断を歪めるなら、人間の目以上に騙されやすい。一次情報として、この偏りをどう設計に組み込むか、最速で考えます。
