LLMの政治的スタンス測定：プロンプト形式が評価結果を左右する

大規模言語モデル（LLM）の政治的スタンスを評価する際、どのようなプロンプトを使うかで結果が大きく変わるという研究が発表されました。従来の人間向け多肢選択式質問や、テンプレート化されたプロンプトでは、AIの真のスタンスを正確に捉えきれない可能性が指摘されています。本研究では、LLM自身が生成した「完全に合成されたプロンプト」が、現実の対話により近く、より正確な評価を可能にすることを示しました。プロンプトの設計が、AIの振る舞いを理解する上でいかに重要であるかを浮き彫りにしています。