電力システムへの脅威とAIの活用
電力システムは現代社会の基盤です。サイバー攻撃の標的になりやすい現実があります。この攻撃を検出するため、AIモデルの導入が進んでいます。しかし、AIモデル自体が攻撃されるリスクも抱えています。そのため、より強固な対策が求められています。量子機械学習がその解決策の一つとして注目されています。
評価方法が結果を決定する
私たちは、量子機械学習モデルと従来のAIモデルを比較しました。公開されている電力システム攻撃の記録を使いました。ホワイトボックス攻撃、転移攻撃、決定ベースのブラックボックス攻撃、ポイズニング攻撃など、様々な種類の攻撃を想定しました。この研究で最も重要な発見は、評価の結果がモデルの性能よりも、評価のやり方によって大きく変わる点です。8つの評価基準の選択が、モデルの性能を固定しても結論を逆転させたり、変更させたりしました。
具体的な影響と私の見方
例えば、情報をどのように分けるかという点です。行ごとに評価するやり方では、マクロF1スコアが0.905でした。しかし、元のファイル全体を保持して評価すると、このスコアは0.594まで下がりました。量子AIモデルは、従来のAIモデルとほぼ同じ性能でした。特に、次元が揃えられた条件下では、両者の差は偶然の範囲内です。忠実度カーネルを使ったモデルは、直接攻撃されるまでは最も堅牢に見えました。しかし、攻撃を受けると性能が大きく落ち込みました。不適切な代替モデルを使うと、10倍もの非対称性が生じます。シードなしのブラックボックス攻撃では、再試行ごとに結果が75%も変動しました。これは、評価の安定性が低いことを示しています。
精度低下の原因と今後の課題
私たちは、精度が低い原因がAIモデルの処理の流れではなく、正解情報（ラベル）にあることを突き止めました。この事実は、評価の設計がいかに重要であるかを物語っています。評価のやり方一つで、AIモデルの真の性能を見誤る可能性があります。正確な評価のためには、評価基準や手順を慎重に選ぶ必要があります。
PR
文賢 →
AIモデルの評価は、設計者の腕の見せ所です。単純なスコアだけ見て一喜一憂するのは愚策です。評価基準をぐるぐる回して、多角的に検証する。それが一次情報を掴む最速の道です。
