3D言語モデルの新境地：複数物体間の関係性を理解する新手法

3D言語モデルの根本的な課題

現在の3D言語モデルは、単一の物体や場面の描写に重点を置いています。例えば、「この椅子は赤い」といった情報や、「この部屋にはテーブルがある」といった全体像を捉えるのは得意です。しかし、複数の物体が同時に存在する場合、それらの物体間の詳細な比較や関係性を理解する能力には、根本的な不足がありました。具体的には、「このテーブルの上にある二つのコップのうち、どちらが大きいか」といった問いや、「このブロックは、どの穴にぴったり合うか」といった幾何学的な関係性を問う問題に対して、既存の仕組みは十分な回答を出すことができませんでした。この能力の欠如は、現実世界での応用、特にロボットが環境と相互作用する際に大きな制約となります。

複数物体間の推論を可能にする新しい枠組み

私たちは、この課題を解決するために、複数物体間の詳細な推論を可能にする新しい枠組みを提案します。この枠組みは、三つの主要な構成要素から成り立っています。

1. MO3D：詳細な比較を促す指示の集合

最初の要素は「MO3D（Multi-Object in 3D）」という指示の集合です。これは、AIに複数の物体を細かく比較し、その関係性について推論させることを目的としています。従来の指示の集合は単一物体に関するものがほとんどでした。MO3Dは、例えば「この二つの箱は同じ形か？」、「手前の物体は奥の物体より高いか？」といった、具体的な比較を要求する指示を豊富に含んでいます。この指示の集合を使うことで、AIは単なる物体認識を超え、複雑な空間的・幾何学的な関係性を学習する機会を得ます。

2. Multi-3DLLM：関係性を捉える新しい仕組み

二つ目の要素は「Multi-3DLLM」という新しい仕組みです。この仕組みは、Patch-Interaction Transformer（PIT）という技術を採用しています。PITは、物体の局所的な形状情報を保ちながら、物体内部の関係と物体間の関係の両方を効果的に捉えることができます。従来の仕組みでは、物体全体を一つのまとまりとして扱うことが多く、細かい部分の相互作用や、異なる物体間の微妙な関係を見落としがちでした。Multi-3DLLMは、3D空間内の各部分（パッチ）がどのように相互作用するかを学習することで、より深い形状理解と関係性推論を実現します。この仕組みは、物体の配置や向き、サイズの違いといった、人間が無意識に行っているような比較判断をAIに学習させます。

3. Mini-apps：実用的な形状理解を測る評価基準

三つ目の要素は「Mini-apps」と名付けられた二つの応用重視の評価基準です。これらは、AIが実用的な場面でどれだけ形状を理解しているかを測るために設計されました。 一つは「Shape Mating（形状合わせ）」という課題です。これは、特定の形状の穴にぴったり合う物体を選ぶ能力をAIに要求します。例えば、様々な形のブロックの中から、四角い穴に合う四角いブロックを見つけ出すような課題です。これは、ロボットが部品を組み立てる際などに必要となる、正確な幾何学的理解を試すものです。 もう一つは「Change Captioning（変化記述）」という課題です。これは、3D場面に何らかの変化があったときに、その変化を正確に言葉で説明する能力を測ります。例えば、ある物体が追加されたり、移動したり、形が変わったりした場合に、「テーブルの上にコップが一つ増えました」といったように記述する課題です。これは、環境の変化をAIが認識し、それを人間に伝える能力を評価します。

既存手法との性能比較とMulti-3DLLMの優位性

私たちは、最近の3D言語モデルや2D視覚言語モデルをこれらの新しい課題で評価しました。結果として、既存の仕組みはMO3Dの指示の集合やMini-appsの評価基準において、期待される性能を発揮できませんでした。これは、既存の仕組みが比較に特化した設計を持たないこと、そして形状の認識能力が十分ではないことに起因します。特に、複数の物体間の複雑な幾何学的関係性や、微妙な形状の違いを捉えることには課題がありました。

これに対し、Multi-3DLLMは、私たちの開発したMO3Dの指示の集合で訓練することで、形状に関する推論能力を飛躍的に向上させました。MO3Dの全ての評価項目において、既存の手法を大きく上回る性能を示しています。さらに、Multi-3DLLMが学習した形状理解の能力は、単一物体の分類といった従来の課題に対しても良い影響を与え、性能を改善することが確認できました。これは、より深い複数物体間の理解が、幅広い3D関連タスクの基盤となることを明確に示しています。

3D空間理解の未来

この研究は、3D空間におけるAIの理解を単なる物体認識から、より高度な関係性推論へと進化させる重要な一歩です。物体同士の相互作用を理解し、変化を正確に記述する能力は、自律移動ロボット、スマート製造、仮想現実、拡張現実など、多岐にわたる応用分野で不可欠となります。例えば、ロボットが散らかった部屋を片付ける際、どの物体がどの物体の上にあるか、どの物体がどの物体に適合するかといった関係性を理解することが求められます。私たちの提案する枠組みは、このような複雑な現実世界の課題に対応できるAIシステムの開発を加速させるものです。私たちは、この研究が今後の3D対応AIの発展に大きく貢献し、より賢いAIシステムの実現に繋がると確信しています。