ハイブリッドLLMの『巨大活性化』を解明：性能向上への新知見

ハイブリッド線形アテンション（HLA）LLMの内部動作に関する初の系統的研究が発表されました。この研究では、モデル内部で発生する「巨大活性化（Massive Activations）」の二つの特徴的なパターン、「事前アテンションスパイク（PAS）」と「層間スパイクプラトー（ISP）」を特定。これらの活性化がモデルの構造と深く関連し、フルアテンションLLMの安定した動作に繋がるメカニズムを明らかにしました。この発見は、今後のLLMの効率化と性能向上に重要な示唆を与えます。