RoPE対応4ビット量子化の新たな知見：局所最適化が精度向上に繋がらない理由

RoPEを用いた言語モデルの4ビット動的量子化において、RoPEの特性に合わせたQ/K回転を導入する研究が進められています。本研究では、RoPEの周波数ペアに沿った局所的な分散最適化手法を提案しましたが、驚くべきことに、この手法は単独ではモデルの精度向上に寄与せず、むしろパープレキシティを悪化させる結果となりました。その原因は、理論的な最適化目標と実際の量子化器のスケーリング統計量の間に存在するミスマッチにあると指摘しています。