情報過多のパラドックス：長文コンテキスト学習がモデルの知識定着を阻害する

大規模言語モデルの長文コンテキスト学習は、必ずしも性能向上に繋がらない可能性が指摘されています。本研究は、豊富な情報がモデルの内部知識（パラメトリック知識）の定着を阻害し、コンテキストへの依存を高める「情報過多のパラドックス」を提唱。事前学習やファインチューニングにおいて、最適なコンテキスト長が存在し、無制限の拡張が逆効果になる場合があることを示しています。モデル設計における新たな視点を提供する重要な知見です。