Wasserstein Filtering (WF) とは
AIモデルの学習において、データセットの品質は極めて重要です。しかし、現実世界のデータには、測定誤差や悪意のあるノイズなど、様々な形で「汚染」が含まれることが少なくありません。この汚染されたデータから、真の、つまりクリーンな母集団分布を正確に回復することは、長年の課題でした。今回発表された「Wasserstein Filtering (WF)」は、この課題に対する革新的なサンプル選択フレームワークです。
WFの基本的なアプローチはシンプルです。データセットの中から「疑わしい」と判断される一部のサンプルを破棄し、残された「クリーンな」データのみを用いて目的の分布を推定します。このプロセスにより、モデルがノイズではなく、真のパターンを学習できるようになります。
手法の核心：ワッサースタイン距離の最大化
WFの最も重要なアイデアは、外れ値の特定と除去の方法にあります。このフレームワークは、汚染されたデータセット全体の経験分布と、あるサブセットの経験分布との間の「ワッサースタイン距離」を最大化するようなサブセットを選択します。ワッサースタイン距離は、二つの確率分布間の「移動コスト」を表す指標であり、分布の形状の違いを敏感に捉えることができます。
この距離を最大化するサブセットを選ぶことで、WFはデータ全体の分布から幾何学的に最も離れた、つまり影響力の大きい外れ値を優先的に分離し、除去することを可能にします。これにより、従来の単純な統計的手法では見過ごされがちな、複雑な構造を持つ外れ値も効果的に排除できます。
計算効率化と理論的裏付け
ワッサースタイン距離の計算は一般に計算コストが高いことで知られています。WFでは、この最適化問題を計算可能にするために、3つの具体的なアルゴリズムが導入されています。これらは、周辺スクリーニングスキームである「SinkMarg」、そしてエントロピー最適輸送とスライスワッサースタイン近似を活用した2つの共同最適化アルゴリズム「SinkWF」と「SlicedWF」です。これらのアルゴリズムにより、WFは実用的な時間で大規模データセットにも適用できるようになります。
さらに、WFの理論的な妥当性を裏付けるために、「Far Exclusion and Local Projection (FELP) 汚染モデル」が導入されました。このモデルは、明確に分離された外れ値と、局所的には区別しにくい摂動からなる汚染を特徴づけます。このモデルの下で、WF推定量が有界共分散を持つ分布族に対してミニマックス最適性を達成することが数学的に証明されており、その頑健性が保証されています。
実験結果と実用性
WFの有効性は、広範な数値実験によって実証されています。合成データセット、ベンチマーク異常検知スイート、そして拡散モデルを用いたロバストな生成学習といった多様なシナリオでテストされました。その結果、WFはモデルに依存しない汎用的な前処理ツールとして非常に実用的であることが示されています。
具体的には、WFは競争力のある外れ値検出性能を発揮し、特に重度の汚染下での生成モデリングにおいて、その下流タスクに大きな利益をもたらすことが確認されています。これは、WFがデータ品質を根本的に改善し、その後のAIモデルの性能を飛躍的に向上させる可能性を秘めていることを意味します。
書籍ゼロからはじめるCodex
Kindleで読む →
データクレンジングはAI開発の肝です。ゴミを学習させれば、モデルはゴミを吐き出します。WFのような手法は、現場のエンジニアが血を吐くような努力でやっていたことを、理論的に裏付けて自動化するものです。すぐにでも試して、自分のデータで効果を検証し、一次情報を取りに行きます。
