科学図表の理解を測る新ベンチマーク「Diagram-MMU」
マルチモーダル大規模言語モデル（MLLM）は、科学論文の執筆や共同作業の分野でその能力を急速に拡大しています。例えば、OpenAI Prismのようなワークスペースでは、科学図表を直接LaTeX TikZコードに変換する機能が提供されており、これは科学分野におけるAIの可能性を示す一例です。しかし、MLLMがこれらの複雑な図表をどの程度正確に解析し、理解できるのかを体系的に評価する基準は不足していました。
こうした背景から、私たちはMLLMの科学図表解析・理解能力を評価するために設計された新たなベンチマーク「Diagram-MMU」を構築しました。Diagram-MMUは、厳選された3.7kの科学図表と、人間が検証した18.3kの質問で構成されており、6つの異なる科学ドメインをカバーしています。このベンチマークは、MLLMが科学分野で実用的なツールとなるための重要な一歩だと感じます。
Diagram-MMUの評価基準と主要タスク
Diagram-MMUでは、科学執筆ワークスペースで一般的に行われる3つの主要なタスクを通じてMLLMを評価します。一つ目は「diagram-to-code parsing」（図表からコードへの解析）です。これは、図表の視覚情報を正確なコード表現に変換する能力を測ります。二つ目は「diagram-to-code editing」（図表からコードへの編集）で、既存のコードを基に図表を修正・更新する能力を評価します。そして三つ目は「diagram question answering」（図表に関する質問応答）で、図表の内容を理解し、それに関する質問に答える能力を見ます。
さらに、これらのタスクは「エージェント設定」でも評価されました。これは、MLLMが自律的にタスクを遂行する際の性能を測るもので、より実践的なシナリオを想定しています。私の見方では、単一のプロンプトで完結するタスクだけでなく、複数のステップを踏むエージェント的なアプローチでの評価は、実際のプロダクト開発において非常に重要です。
MLLMの図表処理能力における課題と可能性
私たちは12種類のMLLMをDiagram-MMUで評価しました。その結果、興味深い傾向が明らかになりました。MLLMは「diagram question answering」（図表に関する質問応答）タスクでは比較的良好な推論能力を示すものの、「diagram-to-code parsing」や「diagram-to-code editing」といった図表からコードへの変換タスクでは苦戦する傾向が見られました。これは、MLLMが図表の内容を「理解」することは得意でも、それを具体的な「コード」として正確に「生成・編集」する能力にはまだ課題があることを示唆しています。このギャップを埋めるための手法開発が急務だと感じます。
また、エージェント設定での評価では、多くのモデルが図表からコードへの解析・編集性能を向上させた一方で、質問応答の性能は低下する傾向が見られました。しかし、Claude-4.6 Opusだけは例外で、エージェント設定において3つの主要タスク全てで一貫して性能を向上させました。これは、Claude-4.6 Opusのエージェント機能が特に優れていることを示しており、今後のMLLM開発においてエージェント的なアプローチの重要性を強く示唆していると言えます。
私が考える今後のAI研究の方向性
今回のDiagram-MMUの評価結果は、MLLMが科学分野で真に役立つツールとなるために、どこに注力すべきかを明確に示していると感じます。図表の内容を理解し、質問に答える能力は素晴らしいですが、それを具体的なコードとして正確に生成・編集する能力が実用化のボトルネックです。私の経験上、この「生成」のフェーズこそが、AIプロダクトを実際に動かす上で最も難しい部分です。
特に、Claude-4.6 Opusがエージェント設定で全タスクを改善したという事実は、単一のモデル性能だけでなく、タスクを分解し、複数のステップで処理するエージェントフレームワークの設計が、今後のMLLMの進化において極めて重要であることを示しています。私たちは、この一次情報から、いかに最速でプロダクトに落とし込むかを常に考えています。図表からコードへの変換能力の向上は、AIによる科学研究の加速に直結する、最もホットな領域の一つだと断言できます。
科学図表のコード化は、AIによる論文執筆の最終障壁です。理解はできても、生成できない。この課題を最速でクリアしたモデルが、次の主戦場を獲ります。私も実務で試行錯誤します。
