LLMのアンカリング効果を多角的に評価する「AnchorBench」登場

アンカリング効果とは何か

アンカリング効果とは、最初に提示された数値や情報が、その後の判断に影響を与える認知バイアス（思考の偏り）のことです。これは人間の意思決定においてよく知られた現象です。最近の研究では、大規模言語AI（LLM）も同様の振る舞いを示す可能性が指摘されていました。しかし、これまでの評価方法では、アンカー（基準点）の導入経路が限られていました。また、無関係なアンカーと妥当なアンカーを明確に区別していませんでした。

新しい評価基準「AnchorBench」の登場

この課題を解決するため、新しい評価基準「AnchorBench」が開発されました。AnchorBenchは、LLMにおけるアンカリング効果を評価するためのものです。複数のアンカー導入経路を考慮し、さらにアンカーの関連性を明確に区別して評価します。この評価基準を使うことで、より詳細にAIの反応を分析できるようになりました。

評価から見えたAIの傾向

AnchorBenchを用いた評価は、十四種類のAIシステムに対して行われました。これには、公開されている十種類のAIシステムと、四種類の最先端のAPI提供AIシステムが含まれます。多数の制御されたプロンプト（AIへの指示文）を用いて分析した結果、いくつかの重要な傾向が明らかになりました。

第一に、アンカリング効果はアンカーの導入経路に強く依存します。つまり、どのように基準点が提示されるかで、AIの反応は大きく変わるということです。第二に、妥当なアンカーは、より影響力の強い経路で導入された場合、無関係なアンカーよりも大きな影響を与えます。これは、AIが情報の関連性をある程度判断していることを示唆します。

第三に、アンカーが正しい答えから遠ざかるほど、その影響は弱まる傾向が見られました。これは特に、外部情報を用いる「External」や、検索拡張生成「RAG」（外部情報を検索して回答を生成する仕組み）といった経路で顕著でした。第四に、アンカーがない状態でのタスク正答率が高いAIシステムでも、アンカリング効果を受けやすいことが判明しました。たとえば、95%以上の高い正答率を持つ最先端のAPI提供AIシステムも、妥当なアンカーには脆弱性を示しました。

私の見方：AIの賢さと脆弱性

今回のAnchorBenchによる評価は、AIの賢さと同時にその脆弱性を浮き彫りにしました。AIは単に情報を処理するだけでなく、提示された情報の順序や内容の関連性によって判断が揺らぐことがあります。これは、AIを活用する上で非常に重要な知見です。特に、高精度なAIシステムでも、特定の情報提示の仕方によっては誤った判断に導かれる可能性があると分かります。私たちは、AIにどのような情報を、どのような形で与えるべきか、より深く考える必要があります。AIの出力を鵜呑みにせず、常にクリティカルな視点を持つことが求められます。