0 / 5 節読了

表形式基盤モデルの現状と課題

表形式基盤モデル（TFM）は、最近のAI技術の進歩により、様々な表形式データで高い予測性能を発揮しています。特に、文脈内学習という方法を用いることで、少ないデータでも高い精度を実現できる点が注目されています。しかし、この文脈に依存した推論のやり方には、実用上の大きな課題があります。

具体的には、推論を行う際の処理に時間がかかり、さらに多くの記憶容量を必要とします。この処理の遅延や記憶容量の負担は、TFMを大規模なシステムや、限られた資源しかない環境に導入する際の大きな障壁となっていました。高性能であるにもかかわらず、その重さゆえに広く使えないという状況です。

新しい圧縮技術「GEAR」の概要

私たちは、この課題を解決するために「GEAR」（Generative Expansion and Real Anchoring）という新しい仕組みを開発しました。GEARは、TFMが持つ高い性能を維持しつつ、より軽いモデルに変換する2段階の圧縮技術です。この技術により、重いTFMを、一般的なCPUでも効率的に動作する多層パーセプトロン（MLP）や決定木モデルに置き換えることが可能になります。

GEARの大きな特徴は、その2段階の学習プロセスにあります。このプロセスを経ることで、元のTFMの予測能力を効果的に引き継ぎながら、推論時の速度と記憶容量の効率を大幅に改善します。これにより、これまで導入が難しかった大規模なシステムや、リアルタイム性が求められるアプリケーションへのTFMの適用が現実的になります。

2段階の学習プロセスとその工夫

GEARの学習は、精密に設計された2つの段階で構成されます。第1段階では「Generative Expansion」と名付けられたプロセスを実行します。ここでは、仮想的なデータ（合成された変数）を教師モデルへの問い合わせ場所として利用します。そして、TFMが生成する「柔らかい予測結果」を目標として、軽量な学習モデルを訓練します。この方法により、実際に観測されたデータ範囲を超えて、学習モデルの適用範囲を広げることができます。未知のデータパターンにも対応できる能力を養うことが目的です。

第2段階は「Real Anchoring」と呼ばれます。この段階では、学習モデルを実際のデータの分布に再調整します。具体的には、実際の正解データと、交差検定で使われていない教師モデルの予測結果を組み合わせて利用します。この工夫により、自己ラベル付けによる情報漏洩という、教師モデルからの学習で起こりがちな問題を回避します。さらに、生成された問い合わせの量と、その問い合わせを生成する「生成器」の精度の兼ね合いを示すリスク証明も導き出しており、仕組みの信頼性を高めています。

実験結果と性能の飛躍的向上

GEARの有効性は、TALENTやTabArenaといった代表的なデータセットを用いた広範な実験で確認されました。特に、2段階の学習を経たMLPモデルは、従来の教師ありMLPと比較して、2値分類の課題においてAUC値で1.81〜2.00という顕著な改善を示しました。多クラス分類の課題でも1.19〜1.35の改善が見られます。

さらに、実データのみを使った軽量化手法と比較しても、GEARは2値分類で1.76〜2.19、多クラス分類で2.09〜2.40という、さらなる性能向上を達成しています。この改善効果は、LightGBMやXGBoostといった他の決定木モデルにも及び、これら3種類の学習モデルは、TFM以外の強力な基準モデルであるCatBoostをも平均AUC値で上回る結果を出しました。これは、GEARが多様なモデルに適用可能であり、かつその性能が非常に高いことを示しています。

実用化への大きな一歩

GEARの構成要素を詳細に分析した結果、その性能改善は単に学習時間を長くしたり、別の初期値設定を使ったりするだけでは得られないことが明らかになりました。段階的な最適化手法は、混合最適化よりも高い安定性をもたらすことも示されています。また、生成された問い合わせの量が増加するにつれて、生成器の性能に依存して効果が減少する傾向も見られ、最適なバランスを見つけることの重要性が示唆されています。

最も注目すべきは、GEARが推論時間を大幅に短縮し、記憶容量を削減する点です。推論時間は最大で57〜2866倍も速くなり、予測時に必要な最大記憶容量も1.9〜3.3倍削減されます。それでいて、比較対象となる教師あり基準モデルよりも高いAUC値を維持できるのです。この効率性と性能の両立は、TFMを現実世界の様々なアプリケーションで広く利用するための大きな一歩となります。例えば、リアルタイムでの予測が必要な金融取引や、大量のデータを扱う医療診断など、多岐にわたる分野での応用が期待されます。

PR

文賢 →
柴亮太
柴亮太の視点

基盤モデルを実用化する圧縮技術は、最速で成果を出すための鍵です。性能を維持しつつ、処理速度と記憶容量を改善するのは必須。私の経験上、既存の重いモデルをこの仕組みで軽量化するのが正解です。