LLMの2ビット量子化で精度を飛躍的に向上させる「SchurQuant」

大規模言語モデルの記憶容量と量子化の限界

大規模言語モデル（LLM）は、その高度な能力の裏側で、膨大な記憶容量を必要とします。この記憶容量の大きさは、限られた環境での導入や、より多くのユーザーが利用する上での大きな障壁です。この課題を解決する技術として、「量子化」が注目されています。

量子化は、モデルの重みや活性化関数などの情報を、より少ない情報量で表現する手法です。これにより、モデルのサイズを小さくし、記憶容量の消費を抑えられます。しかし、この情報圧縮は、モデルの推論精度を低下させるリスクも伴います。特に、2ビットや3ビットといった極めて低い情報量まで圧縮しようとすると、その精度低下は顕著になり、実用が難しいレベルになることがありました。

既存の学習後量子化（PTQ）と呼ばれる最適化手法は、逆伝播を使わずにモデルを圧縮します。しかし、これらの手法には二つの大きな限界がありました。一つは、重みをグループごとに離散的な値に変換する際に、残りの連続的な情報が持つ補正能力を無視していた点です。もう一つは、離散的な値を調整する過程で、線形量子化の基準となるグリッドが固定されたままで、柔軟な最適化ができなかった点です。

SchurOptによる解析的な最適化

これらの既存の課題を解決するため、新しい最適化手法「SchurOpt」が開発されました。SchurOptの核心は、残りの連続的な情報が持つ最適な応答を解析的に除去する点にあります。これにより、重みのグループ単位での最適化問題を、より正確な二次問題として扱うことが可能になりました。この計算には、シュール補元を使った曲率の概念が用いられています。

SchurOptは、二つの主要なステップを交互に繰り返します。まず、閉形式の計算によって、行単位での尺度（スケール）と基準点（ゼロポイント）を再調整します。次に、座標降下法という手法を用いて、整数コードを最適化します。この一連のプロセスにより、GPTQという既存の目的関数を固定したままでも、量子化の精度を大幅に向上させることができました。

具体的な検証では、2ビットに量子化したQwen3-4Bという大規模言語モデルにおいて、SchurOptは未学習時の精度を11.88パーセンテージポイントも向上させることに成功しました。これは、低ビット量子化における精度低下の問題に、解析的なアプローチで有効な解決策を示したと言えます。この技術は、記憶容量の制約が厳しい環境でのLLM導入を大きく加速させる可能性を秘めています。

高い精度を追求するSchurQuantの総合戦略

SchurOpt単体での精度向上は目覚ましいものですが、さらに高い精度を追求するには、単なる厳密な再構築だけでは不十分であることが分かりました。モデルの情報をより忠実に再構築したとしても、それが必ずしも最終的なモデルの評価指標の改善に直結するわけではないという課題です。

そこで、SchurQuantはSchurOptを基盤としつつ、複数の先進的な技術を組み合わせることで、総合的な精度向上を目指しました。その構成要素は以下の通りです。

1. 量子化済みプレフィックス教師再構築: 量子化された部分を教師モデルとして利用し、その情報を再構築することで、より安定した学習を促します。
2. 参照重み正則化: 量子化前のオリジナルの重みを参照として用い、量子化後の重みが元の重みから大きく逸脱しないように調整を加えます。これにより、モデルの安定性を保ちます。
3. 残差加算ターゲット: 量子化による誤差（残差）を考慮し、それを加算する形で目標値を設定します。これにより、微細な情報の損失を補填します。
4. 教師決定トークン重み付け: 教師モデルの出力に基づいて、各トークン（単語の単位）に重み付けを行います。これにより、モデルの重要な部分に重点を置いて最適化を進めます。

これらの技術を組み合わせたSchurQuantは、LlamaやQwenといった8種類の異なる大規模言語モデルでその性能が評価されました。結果として、既存の学習不要な量子化手法の中で、最高の平均未学習精度を達成しました。特に2ビットの量子化では、最も強力な既存の手法と比較して、9.65パーセンテージポイントも高い精度を示しています。この成果は、低ビット量子化の新たなベンチマークを確立し、LLMのより広範な応用を可能にするものです。