AIの芸術スタイル分類、その真実
近年、CLIPのような凍結された画像埋め込みモデルが、絵画の芸術スタイル分類において高い精度を報告しています。これはAIが芸術を「理解」し、そのスタイルを識別できるようになった証拠だと受け止められがちです。しかし、私自身、この高い精度が本当に芸術的な「スタイル」の本質を捉えているのか、それとも単に「個々のアーティスト」の作品を識別しているに過ぎないのかという疑問を抱いていました。
従来の評価プロトコルでは、同じアーティストの作品が学習データとテストデータの両方に含まれることが一般的でした。この場合、モデルは特定の画家の筆致やモチーフを記憶することで、その画家の作品を高い精度で分類できます。結果として、モデルはスタイルを理解していなくても、画家を認識するだけでスタイル分類タスクに成功してしまう可能性があったのです。
アーティスト分離評価プロトコルの導入
この根本的な課題を解決するため、新しい「アーティスト分離評価プロトコル（artist-disjoint protocol）」が提案されました。この革新的な評価方法では、特定のアーティストの作品が学習データに含まれる場合、そのアーティストが手掛けた他の全ての作品はテストデータから完全に除外されます。
これにより、モデルはアーティスト個人を特定して分類する手段を失います。純粋に芸術スタイルに共通する視覚的特徴を捉えなければ、正確な分類は不可能になるわけです。このプロトコルは、AIが本当にスタイルの本質的な要素を理解しているのかどうかを、より厳密に測定するためのものです。
精度低下とスタイルの違い
20世紀の主要な4つの芸術運動（印象派、キュビスム、シュルレアリスムなど）から選ばれた320枚の絵画を用いた実験が行われました。結果は非常に興味深いものでした。従来の評価プロトコルでは0.87だった5-NN（k-近傍法）によるスタイル分類精度が、アーティスト分離プロトコルを適用すると0.77にまで大幅に低下しました。
さらに注目すべきは、この精度低下が一様ではなかった点です。印象派やキュビスムの作品ではほとんど精度に変化が見られなかった一方で、シュルレアリスムでは実に20ポイントもの大幅な精度低下が確認されました。これは、シュルレアリスムのようなスタイルでは、個々の画家の特徴がスタイル分類に非常に大きく影響していたことを明確に示唆しています。
視覚構造と真のスタイル理解
この傾向は、CLIPだけでなく、視覚のみの自己教師あり学習モデルを含む4つの異なる画像エンコーダで共通して観察されました。この事実は、この効果が言語情報ではなく、画像そのものの「視覚構造」に起因していることを示しています。つまり、モデルが真に共有されたスタイル形式を捉えている場合、個々のアーティストは認識されにくくてもスタイル分類は堅牢です。しかし、シュルレアリスムのようにアーティストの個性への依存度が高いスタイルでは、アーティストが認識できなくなるとスタイル分類も困難になるのです。
この研究は、凍結された画像埋め込みモデルにおける真の「スタイル理解」を測定するためには、アーティスト分離評価が不可欠であると強く主張しています。単に高い分類精度を報告するだけでなく、その精度が何に基づいているのかを深く掘り下げることが、AIの芸術理解研究において非常に重要であると私は考えます。AIが特定のタスクを「理解」していると主張する際の、より厳密な検証方法を示唆していると言えるでしょう。
PR
文賢 →
スタイル分類の精度が高いと聞けば、すぐに「AIが芸術を理解した」と騒ぎます。しかし、それは表面的な数字に過ぎない。本質は何か、何がどう作用しているか、そこまで深掘りしないと意味がありません。私の見方では、この研究はAI評価の甘さを突きつけている。一次情報に触れる重要性を再認識します。
