長期タスクAIにおける「目的ずれ」の深刻な問題
現代のAIエージェントは、より複雑で長期にわたるタスクをこなすよう進化しています。多くの工程、様々な道具、そして膨大な情報源を横断して動作することが増えました。このような環境でAIを運用する上で、最も重要な確認点の一つは、個々の行動が局所的に正しいだけでなく、AIの全体の動きがユーザーが最初に指示したタスクの意図と合致しているか、という点です。AIは、たとえ正しい道具を使い、適切な引数で各工程を進めていたとしても、その目的がユーザーの意図から静かに、そして少しずつずれていくことがあります。これが「目的ずれ」と呼ばれる現象です。このずれは、気づかないうちに蓄積され、最終的にはAIが意図しない広範な役割を担ったり、当初の目標とは異なる目的を追求したり、ユーザーが提供していない証拠に基づいて行動したりする危険性があります。
既存の監視手法の限界と新たな視点「存在論的信頼」
これまでのAI監視システムは、主に個々の行動がルールに適合しているか、最終的な結果がどうだったか、あるいは一般的な危険度を評価することに重点を置いていました。しかし、これらの手法では、AIの軌跡の途中段階で、その目的がユーザーの意図からずれていないかを直接、かつ継続的に評価することは困難でした。AIが「目的ずれ」を起こしているかどうかを、その動きの途中段階で判断できる仕組みが求められていました。そこで私たちは、「存在論的信頼」という新しい概念を提案します。これは、AIの軌跡の途中段階において、そのAIがユーザーに承認されたタスクの意図とどれだけ一致しているかを示す、タスクに条件付けられた特性です。この視点を取り入れることで、AIの行動の健全性をより深く理解し、管理することが可能になります。
RGEの核心：役割・目標・証拠による信頼分解
「存在論的信頼」の概念を具体的に実現したのが、オンライン監視システム「RGE」です。RGEは、AIの信頼度を「役割（Role）」「目標（Goal）」「証拠（Evidence）」という3つの主要な観点に分解して評価します。AIがどのような役割を担っているか、どのような目標に向かって進んでいるか、そしてどのような証拠に基づいて判断しているかを常に監視します。RGEの大きな特徴は、大規模言語モデル（LLM）を、構造化されたタスクや工程の表現を導き出すためにのみ利用する点です。信頼状態の更新、今後の動きの予測、そしてAIへの介入判断は、すべて決定論的なルールに基づいて行われます。これにより、RGEの出力は、単なる最終的な判断ではなく、再現可能で監査可能な信頼の軌跡として残ります。どの段階で、なぜ、どのように信頼度が変化したのかを明確に追跡できるため、AIの動作の透明性が大幅に向上します。
RGEの性能と実証データ
私たちは、RGEの有効性を検証するために、OSWorld、FinanceBench、EICU-ACという複数の分野にわたる軌跡データセットを構築しました。このデータセットには、意図通りの正常な実行、途中段階での目的ずれ、そして見かけ上は一貫しているが実際には失敗している「擬似一貫性失敗」のケースが含まれています。このデータセットを用いた評価の結果、RGEは、目的ずれの検出において、既存のルールベース、評価者ベース、防御ベースのシステムと比較して、優れた性能を示しました。特に、2つの大規模な評価モデルを使用した場合、RGEはすべてのベンチマークで93%以上の目的ずれ検出精度（F1スコア）を達成し、同時に正常な動作の検出漏れを95.8%以上に抑えることができました。これにより、RGEがAIの「目的ずれ」を高い精度で検知できることが実証されました。
今後の課題とAIの信頼性向上への貢献
一方で、擬似一貫性失敗の検出はより困難であることが分かりました。これは、タスクの完了が外部から明確に確認できるかどうかに依存する構造的な限界があるためです。この課題は、AIの自己評価と外部評価のギャップを埋めるための今後の研究テーマとなります。RGEは、AIが複雑なタスクを自律的に遂行する中で、ユーザーの意図から逸脱する危険性を早期に発見し、介入を促すための強力なツールです。これにより、長期タスクAIの信頼性を飛躍的に高め、より安全で責任あるAIシステムの開発と運用に貢献できると確信しています。AIの自律性が高まるにつれて、その行動を適切に監視し、制御する仕組みの重要性は増すばかりです。
PR
ElevenLabs →
AIの目的ずれは、開発者が最も恐れる事態です。局所的な正しさだけでは不十分。全体の意図と合致しているか、常に確認する仕組みは必須です。RO合同会社でも、この考え方を取り入れ、AIの自律性を高めつつ、人間が制御できる範囲を明確にします。
