RoPEの表現力、二つの側面を徹底解明

回転位置埋め込み（RoPE）の成功には、「周期的な位置情報とモジュラー述語」による表現力と、「位置アンカーと局所オフセット」によるメカニズムという二つの説明が存在します。本研究はこれらを形式化し、従来のRoPEが持つ「回転が繰り返されない」特性が、全長のモジュラー特性ではなく、固定オフセットの有界シミュレーションであることを明らかにしました。実験では、周期的なRoPEがモジュラー言語で汎化する一方、従来のRoPEは局所性バイアスとして機能し、遠距離コンテキストへのアクセスを妨げる可能性を指摘。理論と実践のギャップを埋める重要な知見です。