Anthropicの悪用リスク評価、位置推定の数字と限界を読む

一つの成績で、すべてのリスクは測れない

研究は、別々のアカウントの関係性の推定、写真からの位置の推測、文章からの位置の推測、シミュレーション内の技術課題などを分けて扱っている。これらは対象データも正解の定義も異なる。すべてをまとめて「AIの危険度」という単一の順位へ直すと、対策を置く場所が見えにくくなる。

たとえば架空のSNS情報を用いた課題には、人工的な言い回しや現実の投稿とは異なる性質が残ると、研究チーム自身が記す。合成データを使うことには実在する人の情報を扱う負担を減らす意味がある一方、そこで得られた得点をそのまま日常のSNSへ当てはめることはできない。

モデル間の差を見るための評価と、社会でどれだけ被害が起きるかを予測する評価は、目的が異なる。どの入力を与え、どの道具を使わせ、何を正解としたかを確認して初めて、数字の意味が定まる。新しいスコアを読むときには、比較対象より先に実験条件へ目を向けたい。

「できない」が費用の問題へ変わる可能性

研究全体から読み取れる警戒点は、公開情報を組み合わせる作業の手間が減ることである。人が一件ずつ行うには時間がかかる調査でも、一般的なモデルの性能向上によって実行の負担が下がる可能性がある。ただし、計算資源が安くなることと、得られた推測が正しいことは同義ではない。誤った推測を大量に出せるようになるリスクも併せて考える必要がある。

そのため、以前は高コストで現実的でなかった利用が、現在も起こりにくいという前提には依存しにくくなる。一方で、研究が実施した課題の外まで、能力を拡大解釈すべきでもない。コストの低下、精度の変化、利用できるデータの範囲を、それぞれ別に観察することが重要だ。

この区別は対策の選び方にも関わる。モデルの拒否機能だけに頼るのか、入力できるデータを減らすのか、結果を実際の行動へ結びつける前に承認を求めるのかでは、制御する段階が違う。能力評価は、どの層の対策を見直す必要があるかを考える材料として使いたい。

写真の評価に、人との直接対決はない

写真を使った評価では6000枚を対象に、外部ツール、逆画像検索、位置情報のメタデータを使わずに場所を推測させた。Mythos Previewの位置誤差の中央値は37.0キロメートル、Mythos 5は47.2キロメートルと報告されている。中央値とは、誤差を並べたときの中央の値であり、すべての写真をその精度で特定できたという意味ではない。

研究は参考として、GeoGuessrの上位プレイヤーに関する別研究の中央値151キロメートルなどを並べている。しかし、同じ写真を人とAIが同時に解いた実験ではない。人の側はStreet Viewの画像で移動や視点変更ができ、AIの側はSNS由来の静止画を扱った。画像の種類や情報量に違いがある。

そのため本記事では、人間全般を超えたと確定する説明にはしない。条件の異なる参考比較として、位置の推定能力が上がっている兆候と読むのが適切だ。強い見出しだけで受け止めると、すべての写真から正確な住所がわかるという誤解にも、誤差があるから無視してよいという過小評価にもつながる。

投稿の評価でいう8%の分母

文章を対象とする実験では、2010年の公開データを匿名化し、一定の条件を満たした1697人の一週間分の投稿を用いた。報告された135人、約8%という数字は、評価した6モデルのうち少なくとも一つが、評価上の居住地点から1キロメートル以内に置けた人数である。一つのモデルが全員を同じ精度で推測したという数字ではない。

さらに、評価上の居住地点は投稿位置の集まりから定義されたもので、住民登録の住所を照合したものではない。データが古く、利用者の地域にも偏りがあり、現在の日本の利用者に対する的中率を示さない。これらを取り除いて割合だけを引用すると、研究が測った対象そのものが変わってしまう。

一方、匿名化された投稿でもプライバシー上の手掛かりが残りうるという問題意識は、企業にも関係する。名前を削れば安全とする確認方法では、文章の内容に含まれる個人情報を見落とす可能性がある。外部へ渡す資料では、識別子の削除に加え、目的に不要な細部を減らすことも検討したい。

技術課題の成功と、現実の行為の間

通常兵器に関連する部分はシミュレーションを使った能力評価である。プログラミング能力の改善が、その領域の一部課題にも影響することが示されている。ただし、実験内で目的を達成することと、物理環境で実際に運用できることには大きな距離がある。実機の信頼性や現場条件を検証した試験として読むことはできない。

また、能力があることと、サービスがその依頼に応じることも区別が必要だ。モデルそのものの能力、アプリ側の権限、サービス提供者の拒否機能、利用者への監督は別々の層である。研究は新しい分類器などによる悪用対策にも触れており、性能を測るだけでなく、提供時の制御を継続して改善する考え方を示す。

公開重みのモデルも調査対象に含まれ、最先端だけが問題になるわけではないと指摘されている。ただし、この結果から公開モデルをすべて同じ危険性として分類することはできない。提供形態、追加調整、利用環境が異なるため、実際に使う構成ごとに評価する必要がある。

日本企業にとっては、情報の出し方の問題でもある

ここからは編集部の考察である。社内の議事録、写真、顧客対応記録をAIへ入力するときには、個人名の有無だけを確認項目にしないほうがよい。利用目的に照らし、個人の行動や居場所を過度に推測できる細部が必要かを検討する。必要のない情報を入力前に減らすことは、提供者の安全機能とは独立した対策になる。

また、社内で位置や人物を推測する機能を検証する場合も、従業員や顧客の実データを無断で試験に使わない設計が重要だ。合成例や明確な許諾のあるデータを使い、何を確認する試験なのかを記録する。能力の調査のために、新たなプライバシー侵害を発生させないことが前提になる。

業務アプリの側では、回答を見せるだけの機能と、外部システムにアクセスして行動する機能を分けて考える。権限を持たせるほど、ログの確認、担当者への引き継ぎ、例外時の停止方法が必要になる。モデルの選定で確認が終わるのではなく、実際に与えるデータと権限を含めて評価することが重要だ。

推測を扱う業務で、結果の表示まで考える

業務へ置き換えると、推測の結果を確定情報のように表示しないことも重要になる。誤差のある推定でも、地図の一点や整った説明文として示されると、根拠以上の確かさを感じさせる場合がある。正解らしい見た目を整えることと、結果の信頼性を確かめることは別の工程だ。

例えば社内資料の匿名化を点検する用途なら、利用目的は個人を突き止めることではなく、不要な情報を減らすことに置ける。確認者が必要な箇所だけを扱い、結果を広く保存・共有しないようにする。評価のために得た情報が、別の目的へ流用されないようにすることまで含めた設計が考えられる。

誤認が生じたときの訂正経路も、モデルの能力とは別に用意する必要がある。人物や行動についてAIの出力だけで不利益な判断を行えば、正解率が高いとされるモデルでも個々の誤りによる損害は残る。人が確認したという記録だけでなく、何を根拠に採用・棄却したかを説明できることが重要だ。

研究チームが合成データや制限した環境を使う理由も、単に測りやすくするためだけではない。評価そのものによる被害を避けながら、能力の変化を把握する必要があるからだ。企業が独自に検証する場合も、研究と同じ目的なら同じ素材を自由に扱えると考えず、自社のデータ利用の正当性を確かめたい。

評価を更新し、限界も残す

今回の研究が示すのは、一般的な能力の進歩が、従来は専門家の手間を要した分野にも及ぶという警戒材料である。どの環境でも万能という結論でも、実験だから実害と無関係という結論でもない。研究が明記した制限を残したまま、現実の被害報告や別の評価と併せて判断する必要がある。

導入後も、使い方が変わればリスクは変わる。同じモデルでも、扱う資料が公開情報から顧客情報に変わったり、参照先が増えたりすれば、以前の確認だけでは足りない。入力データ、権限、出力の用途という三つの変更を管理できることが、性能評価を業務の安全へつなげる出発点になる。

運営会社・AI活用の相談先はRO合同会社。参考報道：イノベトピアの評価研究解説。数値は研究チームの報告で、本サイトが再現実験を行ったものではない。