AutoML比較の盲点：短時間評価でテストセット利用と予算無視が勝利を演出

AutoMLシステムの短時間での性能比較は、しばしば誤解を招く結果を生み出します。ある事例研究では、OrcetraがFLAMLやAutoGluonを圧倒するかに見えましたが、その勝利はプロトコルの欠陥によるものでした。テストセットの不正な利用や実行時間の予算未遵守が原因で、公平な条件では性能差は消失。短時間比較における評価手法の重要性を浮き彫りにします。