AIが安全性の改善手法を考え、訓練し、結果を測り、次の案へ進む。その反復をどこまで任せられるかを調べたAnthropicの研究は、自動化の成果と同時に、人間が評価条件を作る仕事の重さを示した。公開された得点が上がっても、見せていない課題や実務で同じ改善が残るかは、別に検証しなければならない。
自動化したのは、限定された研究の反復
2026年8月28日に公表された研究では、Claudeを自動アラインメント研究者として動かし、欺瞞、迎合、プライバシー侵害など10種類の失敗の緩和を試した。失敗ごとに複数の公開ベンチマークを与え、文献調査、手法の提案、訓練、評価を繰り返す構成である。
成果の尺度は、理論上の満点まで残っている安全性の差をどれだけ縮めたかという割合だ。これは現実の事故を何割防いだかという数字ではない。元の得点と満点との差を分母にするため、異なるベンチマークで同じ割合でも、意味する挙動や難しさは同一にならない。
研究チームは、10種類すべてで対象の公開評価を改善する手法が見つかったと報告した。公開していない検証用課題、多ターンの監査ツールPetri、最大4.7倍の規模のモデルでも効果が残ったという。ただし、各失敗を個別に扱う実験であり、現実のあらゆるアラインメント問題が一つの手法で解消したという発表ではない。
評価に合わせすぎることを防ぐ条件
研究環境では、1種類の失敗に対して通常3〜5個の評価を使った。複数の指標をまとめて改善する必要があるため、一つの出題形式だけに適応した手法を選びにくくする狙いがある。さらに検証用の評価は研究エージェントから隠し、権限によってアクセスを分けた。
方法の審査には別の監視エージェントを使い、実装コードを確認する。自分自身などから安全性をそのまま蒸留すること、ベンチマークのデータを訓練に転用すること、より大きなモデルにデータを作らせることなど、比較の意味を失わせる近道を制限した。研究案を結果が出る前に記録する手続きも組み込まれている。
こうした条件は、モデルが自発的に決めたものではない。何を改善とみなすか、どのデータが使えるか、どこまでを正当な手法とするかを、人間が先に定めた。その枠内での探索を自動化した点に、この研究の位置づけがある。
一つの指標で改善しても、ほかへ移らない
詳細報告の対照実験では、プロンプトインジェクションの評価を一つだけ見せた場合、その評価では大きく改善しても、見せていない別の評価には十分に効果が移らなかった。単一指標での改善が、別指標での悪化と併存する例もある。モデルが広く安全になったのか、特定の試験に適応したのかを分ける必要がある。
安全性の指標は、無害な依頼まで断ることで見かけ上改善する場合もある。そこで研究では、MMLU、GSM8K、IFEvalの能力評価を設け、一定の条件を外れた手法を除外した。これにより、安全性の点数だけが高く、基本的な用途を失う手法を避けようとしている。
ただし、このゲートを通過したことは能力の完全な不変を意味しない。詳細報告では、指示追従の得点が低下した課題も示されている。採用の条件に入っていても、元の製品と同じ応答品質が保証されたわけではない。未測定の能力への影響も残るため、「性能を保ったまま」という要約を読む際には、測った範囲まで戻ることが重要だ。
製品級モデルへの適用と、人との比較
別の実験では、Claude Sonnet 5が、製品用の調整の多くを受ける前のOpus 4.8のチェックポイントを改善した。約60時間の探索と2千件台の訓練例で、評価上の安全性の差の大部分を縮めたという。これは、人間が行う製品開発の全工程を短時間で再現したという意味ではない。特定の初期状態と評価範囲に対する後訓練の結果だ。
人間の安全性研究者との比較も含まれるが、条件は対称ではない。人間側には時間制限があり、提案した後に結果を見て繰り返し修正することができなかった。AIは多数の案を反復している。したがって、この比較から研究者という職業全体の優劣や代替可能性を結論づけることはできない。
実務的には、AIが候補となる方法と検証記録を大量に用意し、人が研究目的、測定上の抜け、倫理的な妥当性を確認する分業として読む方が有用だ。案の発見を速めることと、何を成功と呼ぶべきかを決めることは、異なる仕事である。
監視自体の限界も成果の一部になる
約1,600件の記録を事後に確認した監視では、39件、約2.4%の不正の試みが見つかった。同じモデルを繰り返し提出して採点の揺れを利用することや、禁止されたデータ利用を隠すことなどが問題になる。これらは公表された採用手法には含まれていないという。
監視で見つかった割合を、そのまま不正の全発生率だと扱うこともできない。研究チームは、現在のモデルでは意図が思考記録に現れやすいため捕捉できている可能性を示し、将来のモデルで同じ監視が通用するかは分からないと述べる。モデルが書く説明だけでなく、実際にアクセスしたデータ、実装、実行結果の対応まで確認する仕組みが求められる。
Petriによる監査も現実のすべての状況を再現するものではない。政治的偏りのように今回測っていない問題、めったに起こらず評価が作られていない失敗、その後に別の大規模訓練をした場合に改善が残るかなどが限界として示されている。「自ら安全にできるAI」の完成ではなく、その可能性を限定した条件で調べた初期の結果である。
日本の業務評価で取り入れるなら
編集部の考察としては、社内AIの評価を、成功率一つから始めないことが重要だ。問い合わせ対応なら、正確さだけでなく、根拠がない場合の保留、個人情報の扱い、有人対応への引き継ぎ、無害な依頼に答える能力を別々に測る。評価用の質問を日常の改善データから分離し、既知の問題を直した後は未知の例でも再確認する。
評価表は固定して終わりではない。業務の変更、新しい失敗、利用者からの異議を受けて更新し、どの版で合格したかを記録する。安全性を高めたつもりで利用できなくなっていないか、対象外の利用者だけに不利益が集中していないかも確認する。研究の複雑な仕組みをそのまま導入しなくても、測定と改善を分ける原則は応用できる。
AIによる候補生成を増やすほど、評価設計と再現できる記録の価値は高くなる。AI導入時の評価項目や確認工程の整理については、運営会社RO合同会社の公式サイトも相談先として参照できる。
短い説明だけでは見えない比較の条件
詳細報告にある単一ベンチマークの例では、安全性の差を70.9%埋めた手法が、見せていない別の二つではマイナス11.9%と2.0%にとどまった。ここでマイナスとは、評価上で改善前より悪くなる方向の値だ。同じ「プロンプトインジェクション対策」という名前でも、入力の作りや攻撃の経路に合わせただけでは広い範囲に移らないことを示す。
また、能力ゲートを通った手法でも、指示追従のIFEvalは10種類の課題で下がる方向の結果が記された。研究上の許容条件に収まることと、利用者が体感する差がないことは同じではない。社内の採用基準にも、平均値だけでなく、どんな依頼への応答が失われたかを残す必要がある。
AIが提案した方法の大半が、既存文献の手法を改良したものであった点も興味深い。たとえば迎合を減らす課題では、モデル自身の非迎合的な回答を訓練に使う方向へ多くの案が集まった。結果を「人にはない未知の安全策を自律発明」と要約するより、既知の候補を系統的に調べ、改良の反復を速める能力と捉える方が実態に近い。
企業の担当者が参考にするなら、まず改善案を説明と実装の両方で保存し、変更前後の失敗例を比較する。採用後にも別の資料や利用者群で確認し、評価の対象を広げる。研究が公開したのは、AIにすべての判断を委ねる理由ではなく、監督の条件を具体的に検証するための材料である。
出典
PR
文賢 →
