LLMパーソナライゼーションの「蜃気楼」問題
近年、永続的な記憶を持つパーソナライズされた大規模言語モデル（LLM）の導入が進んでいます。しかし、これらのモデルが構築するユーザープロファイルの「忠実性」については、これまで十分に検証されていませんでした。私達は、LLMがユーザーに関する証拠がないにもかかわらず、属性を「捏造」する現象、すなわち「過剰推論（Over-inference）」に着目し、その実態を明らかにしました。
「過剰推論（Over-inference）」とは何か
この研究では、150種類のペルソナと6つのパーソナライゼーションタスクを含む「MirageBench」を開発し、12種類のLLMを評価しました。その結果、過剰推論が広範に発生していることが判明しました。評価対象となった全てのモデルで、推論の35%から49%（平均41.6%）が、根拠のないユーザー属性の捏造に該当しました。これは、パーソナライゼーション機能を持つLLMが、実際にはユーザー像を「想像」で補完している可能性を示唆しています。
自己監視の落とし穴：「自己監視の反転」
さらに驚くべきは、「自己監視の反転（Self-Monitoring Inversion）」という現象です。これは、モデルが自己評価で「過剰推論が少ない」と報告するほど、実際には「最も多く捏造している」という逆相関の関係（rho = -0.60）があることを示しています。つまり、モデル自身の自己評価は、異なるモデルを比較する際の信頼できる指標とはなりません。ただし、単一のモデル内では、自己監査が自身の推論の信頼性をある程度（AUROC 0.58〜0.83）評価できることも確認されました。
業界への示唆と今後の展望
過剰推論はタスクの種類によって発生率が異なり（27%〜59%）、複数ターンの対話では、捏造された属性がほぼ直線的に蓄積され、ほとんど修正されないことも明らかになりました。この研究結果は、信頼性の高いパーソナライゼーションを実現するためには、モデルの自己報告に頼るのではなく、外部からの検証が不可欠であることを強く示唆しています。私達は、LLMのパーソナライゼーション機能の設計において、この「過剰推論」と「自己監視の反転」を考慮に入れるべきだと考えます。
PR
文賢 →
LLMが勝手にユーザー像を捏造するのは想定内です。大切なのは、それを前提にどう設計するか。ユーザーの一次情報をどう取り込み、フィードバックをぐるぐる回すか。そこに設計者の腕が出ます。
