公開トークナイザー語彙からLLMの隠れた学習データを高精度推定

LLMの性能を左右する事前学習コーパスの構成は、モデルが公開されても不明な場合が多いです。本研究は、公開されたトークナイザーの語彙情報から、隠されたコーパスの構成比率をトークンレベルで高精度に推定する新手法「QGDE」を提案しました。これにより、LLMがどのようなデータで学習されたかをより詳細に把握できるようになります。平均相対誤差は3%台と非常に高い精度を実現しています。