CARTアルゴリズムの新たな理解
CARTは、決定木を作るための代表的なアルゴリズムです。データのパターンを分析し、予測モデルを構築します。このアルゴリズムは、データを分割するルールと、分割をいつ止めるかという「停止ルール」を組み合わせます。これまで、データの分割方法はよく研究されてきました。しかし、停止ルールの統計的な役割は、あまり深く理解されていませんでした。今回の研究は、このギャップを埋めるものです。
停止ルールの重要性
決定木の性能は、停止ルールによって大きく変わります。分割を早めに止めすぎると、モデルは単純すぎてしまいます。逆に、分割しすぎると、モデルは過学習を起こします。過学習とは、特定のデータにだけ適応しすぎて、新しいデータには対応できない状態です。適切な停止ルールを選ぶことは、汎用性の高いモデルを作る上で不可欠です。この研究は、その重要性を改めて示しています。
空間適応性とは何か
空間適応性。データが持つ場所ごとの異なる特性に、モデルが柔軟に対応できる能力のことです。例えば、データの滑らかさや方向性が場所によって違う場合を考えます。このような状況で、モデルがそれぞれの場所の特性に合わせて調整できると、より正確な予測が可能です。これまでの研究では、ベイズ統計の手法や経験的リスク最小化を使うと、回帰木がこの空間適応性を持つことが示されていました。しかし、CARTでもそれが可能かは不明でした。
MID停止ルールの優位性
今回の研究で、最小不純度減少（MID）停止ルールが注目されました。このルールを適切な基準値と組み合わせると、CARTは空間適応性を実現できると証明されました。これにより、データが場所ごとに異なる特性を持つ場合でも、CARTが非常に高い精度で予測できることが示されています。その精度は、理論上の最良値（ミニマックス最適性）に近い水準です。これは、MID停止ルールがCARTの実務での成功に大きく貢献していることを裏付けます。
最小葉サイズ停止ルールの限界
一方、広く使われている「最小葉サイズ停止ルール」については、異なる結果が出ました。このルールでは、空間適応性を達成できないことが証明されています。最小葉サイズ停止ルールは、木の末端（葉）のデータ数が一定以下になったら分割を止める方式です。この方式では、データが持つ場所ごとの複雑な特性に、柔軟に対応することが難しいのです。この結果は、停止ルールの選択がモデルの性能に決定的な影響を与えることを示しています。
PR
文賢 →
CARTの停止ルールは、モデルの賢さを決める重要な要素です。データに合わせた柔軟な判断ができるか。結局は設計者の腕次第です。最速で実務に落とし込みます。
