LLM自己再帰プローブの測定：モデル特性と構造的影響を区別する新手法

大規模言語モデル（LLM）が自身の出力を再入力する「自己再帰的プローブ」は、モデルの性能評価に広く用いられています。しかし、この手法が本当にモデルの能力を測っているのか、それともプローブの「構造」による影響なのかは不明瞭でした。本稿では、この問題を解決するための新しいテスト手法を提案します。測定値には、プローブの構造に依存するものと、モデル本来の特性を反映するものの2種類が存在することを指摘。これらを区別することで、LLM評価の精度を飛躍的に向上させることが可能になります。