VLMの安全性アライメントが視覚的理解を抑制するメカニズム

VLMの「安全」な沈黙の謎

視覚言語モデル（VLM）は、画像と質問を受け取ります。しかし、安全に関する制約があると、回答を拒否する現象が起きています。これは「安全な沈黙」とも言えます。

同じ画像と質問でも、安全制約がない場合は正しく答えられます。この沈黙は、モデルが視覚的理解そのものを失っているのか。それとも、回答を抑制しているだけなのか。この点が大きな疑問でした。

内部では視覚的理解は保たれている

私はモデルの内部動作を詳しく調査しました。その結果、回答を拒否する時でも、モデルは視覚情報を正しく捉えていることが判明しました。視覚的根拠は、モデルの内部でしっかりと保持されています。

つまり、安全性アライメントは、視覚的理解を消すわけではありません。代わりに、回答の生成を「拒否」する方向へ導いているのです。モデルは理解しているのに、答えない選択をしていると言えます。

安全性アライメントの新たな課題

安全性制約は、モデルの回答生成の最終段階に影響を与えます。具体的には、デコーディングと呼ばれる、言葉を生成する後期段階で拒否行動を促します。

さらに、拒否に関連する内部表現を抑制するだけで、再学習なしに正しい回答を回復できることも分かりました。これは、安全性アライメントが視覚的表現を上書きする「失敗モード」を示しています。

安全性を高めるための設計が、VLM本来の能力を阻害する可能性がある。この点は、今後の開発で重要な課題となるでしょう。

私の見方

安全性はAIにとって非常に重要です。しかし、過度な制約は本質的な能力を隠してしまいます。ユーザーにとって、なぜ答えられないのかが不透明なのは大きな不満につながります。

安全と有用性のバランスをどう取るか。これが今後のVLM開発の鍵を握ります。このメカニズムを理解することは、より賢く、そして信頼できるAIを作る上で不可欠だと考えます。