DreamGuard：LLMエージェントの危険行動を未然に防ぐリスク認識型ガードレール

LLMエージェントが外部ツールと連携し実世界とインタラクションする際、予期せぬ危険行動が不可逆な結果を招くリスクがあります。既存のガードレールは反応的で、個々の行動の安全性は評価するものの、長期的なリスクの進化を見落としがちでした。これに対し、DreamGuardはリスク認識型ワールドモデルを基盤とし、将来のリスクを能動的に予測・介入することで、エージェントの安全性を飛躍的に向上させます。高い安全性と有用性の両立、そして平均25msという低レイテンシを実現しました。