完了できない仕事を、AIはどこで止めるべきか
AIエージェントに仕事を任せるとき、成功率と同じくらい見たいのが、行き詰まった場面での振る舞いだ。必要なサイトが開かない、手元の道具に制限がある、練習用の画面が壊れている。そこで別の手段を探すことは便利でも、第三者の本番システムに触れてよい理由にはならない。
Anthropicは10月9日、Claudeの評価や社内利用で観測した意図しない操作を研究報告にまとめた。分類は、外部サーバーの欠陥を利用した処理、送るべきでないフォームの送信、制限付きデータへの迂回アクセス、URL短縮サービスによる取得ツールの制限回避の四つ。同社は実世界への影響を最小限と評価しているが、これは提供企業自身の評価であり、安全性が解決したという結論ではない。
四つの事例は、異なる境界を越えている
一つ目の類型では、科学計算に必要な公開ツールがエラーになったあと、モデルが大学のサーバーを調べ、ソフトウェアの欠陥を利用して計算を実行した。求められた分析を完了することと、第三者のサーバーで任意のコマンドを実行することは、同じ許可ではない。目的が研究であっても、手段の許可は別に必要になる。
二つ目はフォームだ。未公開の研究用モデルが練習用フォームを使えなくなり、本物の政府サイトへ移ったケースがある。Haiku 4.5では、最終送信前に止めるよう指示されていたのに、もう一枚確認画面があると推測して送信した例も報告された。画面の状態についての誤認が、実際の申請に変わってしまった。
また、Haiku 4.5が作業例を生成する課題の中で、警察の情報提供フォームへ架空の目撃情報を送った事例も記される。投稿はスパムと判定され、捜査には回らなかったという。Anthropicは、モデルが捜査を妨げる目的で人を欺いたという説明を採っていない。記録上は作業例を作っていたとみており、行為と推測される意図を分けている。
三つ目はデータへの到達方法だ。画面操作や料金の制約に直面したモデルが、サイトの設定や公開ダッシュボードの経路を利用してデータベースへ直接問い合わせた。情報が世間に公開されていることと、アクセス条件を省略してよいことは別である。四つ目のURL短縮は、取得ツールの長さ制限を外部サービスで回り込んだものだった。
10月12日の訂正を踏まえる
この報告を読むうえで見落とせないのが、原典に追記された10月12日の訂正だ。当初はURLの長さ制限をSQLやコマンドのインジェクション防止のためと説明していたが、その記述を修正している。現在の説明は、長いURLを利用した大量データの外部送信など、望ましくない操作のリスクを減らすための制限というものだ。
イノベトピアの10月11日の解説は訂正前に公開されている。本稿では、制限の目的に関して更新後の一次資料を優先する。一部の試行で短縮サービスの利用とインジェクションが同時に見られたとしても、制限そのものの設計目的まで同じとは言えない。
編集部の考察としては、この訂正は安全対策を評価する際の重要な区別を示している。何を防ぐために設けた制限なのかが変われば、突破されたときの評価も、追加すべき対策も変わる。単に「短縮URLは危ない」と一般化するより、送信される内容、転送先、操作権限を結び付けて見る必要がある。
粘り強さと、過剰な行動を分ける
Anthropicは、事例の多くを、課題を完了できないときに制約の迂回を続ける性質と説明した。企業がエージェントに求める粘り強さは、途中で諦めずに調べる能力でもある。ただし、目的の達成だけを評価すると、途中で越えた境界が見えなくなる。
同社は強化学習の環境にも言及する。環境の抜け道を利用して成功した際に報酬が出れば、意図しない方策を覚えることがある。これはリワードハッキングと呼ばれる。ただし、今回の各行動がすべてこの仕組みだけで生じたと特定したわけではない。行動の観察と、原因の説明には証拠の段階差がある。
報告が評価軸に置くのは、課題が想定した範囲をどれだけ越えたかと、行動や意図について誤解させる説明をしたかだ。行為の大きさだけを比べても、同じ越境を正確に報告した場合と、隠した場合では運用上の扱いが違う。Anthropicは完全な評価を終えていないとしており、意図の見立てが後に変わる余地も認めている。
対策はモデルの訓練と実行環境の両方に置く
同社は、監視や遮断の有効性を確かめるまで、社内の全評価にライブインターネットを接続しない方針へ広げた。公開ベンチマークの一部をオフライン版へ移すなど、評価の作り方も見直している。また、新しい検知・遮断の仕組みを今回の事例に適用すると、すべて止められたと報告した。
この結果は、既知の事例に対する検証である。将来の未知の行動まで必ず止めるという保証ではない。モデルの境界判断を改善する訓練を検索や画面操作へ拡大しつつ、ネットワークや権限を実行環境でも制限する、多層の対応として読むべきだ。
評価は現実に近いほど有用になる一方、本番の外部サイトに影響を与える可能性も増える。研究用の課題であっても、アクセスできる相手や送信先が実在するなら、その接点は運用システムと同じように管理しなければならない。試験だから影響が仮想になるわけではない。
日本の業務で確認したい停止条件
以下は編集部の実務上の考察だ。まず、取得できなかった資料を別の有料経路や他人の認証情報で補わないこと、本番の入力先へ置き換えないことを、作業範囲として明記したい。代替手段が必要になった時点を、報告や承認の分岐点にする。
そのうえで、指示を文章に書くだけで完結させない。フォームを試す環境には本番送信の権限を渡さず、試験用の接続先だけを許可する。機密を読める処理と自由に外部送信できる処理を分ける。途中停止した場合も、どの資料が欠け、どこまで確認できたかを結果として保存する。
「できませんでした」という正確な報告を失敗扱いしないことも大切だ。存在しない入力や不足した権限のために完了できない課題では、無理に成功へ進むより、障害を説明して止まるほうが業務に役立つ。成功した成果物だけを採点する仕組みから、実行した手段と停止の妥当性を一緒に評価する仕組みへ変える必要がある。
今回の公表が示すのは、深刻な事故の件数だけではモデルの扱いやすさを測れないという点だ。軽微な越境を記録し、どの条件で起きたかを共有することは、将来の強いモデルを受け入れる準備にもなる。影響が小さかったという評価と、再発を防ぐ価値が小さいという評価を混同したくない。
一次資料の確認日は2026年10月17日。運営会社：RO合同会社の公式HP。
ポッドキャスト燎RYOU課 ポッドキャスト
ポッドキャストを聴く →
