テキストLLMの視覚的創造性を測る新指標「Ekphrasis」が登場

視覚的創造的発想（VCI）の重要性

現在のAI業界では、テキストから画像を生成するLLMが注目を集めています。しかし、その生成元となるテキストが、どれだけ「視覚的に創造的」であるかという点は見過ごされがちです。流暢で魅力的な文章であっても、実は陳腐な視覚表現を繰り返していたり、そもそもレンダリング不可能なシーンを指定していたりするケースが少なくありません。これでは、真に独創的な画像生成には繋がりません。

そこで、私たちは「視覚的創造的発想（VCI）」という概念を定義しました。これは、有用性、表現力、そして「集団にとっての新規性」を持つテキストベースの視覚プランを生成する能力を指します。単に言葉を紡ぐだけでなく、具体的な視覚イメージをどれだけ効果的に、かつ独創的に計画できるかが問われます。

新ベンチマーク「Ekphrasis」の概要

このVCIを客観的に評価するため、私たちは「Ekphrasis」という新しいベンチマークを開発しました。Ekphrasisは、抽象化、組み合わせ、変換、適応という4つの主要カテゴリにわたる400のタスクで構成されています。これにより、LLMが多様な状況でどれだけ創造的な視覚プランを考案できるかを多角的に測定します。

評価プロセスは、匿名でのペア比較を基本としています。特定の側面（有用性、表現力、新規性）ごとに詳細なチェックリストを用いて評価を行い、Bradley-Terryモデルによって選好度を統合します。特に新規性の評価においては、Typed Idea Graphsを活用し、タスク固有の一般的なアイデア（陳腐な表現）を特定することで、真に独創的な発想を識別する基準としています。

評価結果と業界への示唆

14の異なるLLMをEkphrasisで評価した結果、VCIが単なる文章の流暢さとは明確に異なる指標であることが判明しました。有用性、表現力、新規性はそれぞれ独立した評価軸として機能し、高い総合スコアを達成するモデルでも、そのプロファイル（例えば、有用性は高いが新規性は低いなど）は多様であることが示されました。さらに、有用な視覚プランであっても、視覚的には陳腐な表現に留まる場合があることも明らかになりました。

この研究の重要な発見は、テキストレベルでのVCIの順序付けが、実際に生成された画像の忠実なレンダリングと、その画像に対する盲目的な選好判断においても大部分で維持される点です。これは、Ekphrasisが単なる文章の質を超え、LLMの根源的な視覚的発想能力を正確に測定していることを強く裏付けています。このベンチマークは、生成AIの真の創造性を引き出すための新たな指針となるでしょう。

私の見方

この研究は、生成AIの次の進化の方向性を明確に示していると私は考えます。これまで私たちは「どれだけ良い画像が生成できるか」に注目しがちでした。しかし、本質は「どれだけ独創的で、かつ有用な指示がAIから出せるか」にあります。単にプロンプトを工夫するだけでなく、AI自身がどれだけ深い視覚的発想力を持っているかが、これからの競争軸になるでしょう。この評価軸は、プロンプトエンジニアリングの深化にも直結します。AIが自ら「真にクリエイティブなアイデア」を生み出す時代が、すぐそこまで来ていると感じます。