動画生成の課題：物理法則の再現
動画生成の仕組みは、近年目覚ましい進化を遂げています。次に何が起こるかを予測する能力も、非常に高まっていると感じます。しかし、生成された動画の中で、物体が物理的に正しく動いているかを評価することは、これまでの基準では困難でした。
物体の動き、その形状、物体そのものの識別、背景の安定性、そして見た目の類似性など、様々な要素が独立して間違いを起こすことがあります。従来の評価方法は、これらの間違いを全て混ぜて全体的な点数を出してしまうため、何が問題なのかを特定しにくいという課題がありました。
新しい評価基準「RigidBench」の導入
この課題を解決するため、「RigidBench」という新しい評価基準が作られました。これはシミュレーターを土台にしています。生成された動画と、同じ初期状態からシミュレーターで計算した正確な動きを比較することで、物理的な正確さを測ります。
RigidBenchには5つのタスクが含まれています。これらのタスクでは、物体、素材、視点、そして屋内・屋外の場面といった要素を様々に変えて評価します。フレームごとのマスク、深度、6自由度軌道（物体の位置と向きを示す情報）、接触情報など、詳細なデータを使って採点します。これにより、物体の動きの正確さを細かく測ることが可能になりました。
評価結果と新たな発見
私たちはRigidBenchを使って、8つの動画生成の仕組みを評価しました。100の事例に対し、10種類の測定項目で分析しています。その結果、どの仕組みが優れているかは、何を測るかによって大きく変わることが分かりました。全ての項目で一番になる仕組みは存在しませんでした。
特に注目すべきは、SSIM（見た目の類似度）が高いほど、3D軌道誤差（物体の3次元的な動きのズレ）が大きくなる傾向があることです。これは相関係数0.89という強い関係性でした。RigidBenchには、シミュレーターの正確な状態を含む5,000本の学習用動画も用意されています。このデータを使って、Wan 2.2 TI2V-5Bという仕組みを微調整しました。その結果、3D軌道誤差を約20%減らすことに成功しました。見た目の類似度はほとんど変わりませんでした。この分析から、物体の位置情報が、その仕組みの内部でどのように扱われているかも明らかになりました。拡散トランスフォーマー（ノイズから画像を生成する仕組み）の内部で、物体の位置が表現され、ノイズ除去の計算に使われていることが確認できました。
私の見方と今後の展望
今回のRigidBenchの発表は、動画生成の仕組みが次の段階に進むための重要な一歩です。見た目の美しさだけでなく、物理的な正確さが問われる時代が来ています。私自身も、生成された動画の物理的な整合性を常に意識しています。特に、現実世界での応用を考える際には、この正確さが不可欠です。
例えば、ロボットの動きをシミュレーションする場面では、少しの物理的なズレが大きな問題につながります。RigidBenchのような評価基準が広まることで、より信頼性の高い動画生成の仕組みが開発されるでしょう。今後は、この評価基準を使って、様々な仕組みがどのように改善されていくかに注目します。物理法則を深く理解し、それを動画に反映できる仕組みこそが、真に価値を生むと私は考えます。
PR
文賢 →
動画生成は見た目の良さだけでは足りません。物理法則の理解度が、その仕組みの真価を問います。私のプロダクトでも、物理シミュレーションの精度は最優先です。RigidBenchの検証はすぐに取り入れ、一次情報として活用します。
