AGIという呼び名の前に、何を測ったか
GPT-6 AstraをAGIと呼べるのか。9月の登場後に広がったこの問いは、単一の点数だけでは決着しない。未知の課題を学ぶ能力、人と同じ資源で解く効率、幅広い仕事の完成、安全に監督できることは、互いに関連しながら別の評価項目だからだ。
イノベトピアの解説は、専門家が採用する物差しによって評価が変わることを論じた。本記事では発売時の機能紹介から離れ、ARC Prizeの測定と更新されたOpenAIのシステムカードを突き合わせる。AGIの達成を認定するのではなく、強い結果から何が分かり、何がまだ分からないのかを考える。
同じモデルでも実行環境で点数が違う
ARC Prizeの9月3日付記事は、ARC-AGI-3のSemi-Private評価について、標準の実行環境では62.7%、Provider Adapterでは99.9%という結果を公表した。前者はmax、後者はhighの推論設定であり、同じ条件の数字ではない。元解説の標準設定の数値をそのまま現在の評価として使わず、評価者の掲載値と条件を確認する必要がある。
ARC-AGI-3は、未知の抽象的な環境で操作し、規則や目標を推定して行動する能力を測る。単に知識問題へ正答する形式とは違い、探索、環境のモデル化、目標設定、計画と実行が関わる。これはエージェントの能力を考えるうえで有用な進歩だが、職場で遭遇するすべての仕事を代表するわけではない。
二つの実行環境の違いにも意味がある。標準側はモデルが残すメモを持ち越す。一方、Provider Adapterはリクエスト間の不透明な推論状態を保持し、長い会話を圧縮して以前の作業を利用する。モデル名が同じでも、状態の受け渡し方が変われば、実際に動くシステムの能力は変わる。
公開表の総費用も、標準maxで約2.6万ドル、Adapterのhighで約1.9万ドルと異なる。これはその評価一式に関する費用であり、一般の依頼一回の料金ではない。高い推論設定でも必要な操作が減れば総費用が下がる場合があると同記事は説明する。点数、設定、操作数、費用をひとまとまりで読む必要がある。
人を超えた指標と、人の仕事全体の違い
ARC Prizeは、多くのレベルで人の中央値より少ない操作で進めたと報告する。ここから、特定の課題での行動効率が高いことは読み取れる。ただし、定義の異なるAGIや、人間のあらゆる技能を獲得する能力の証明へ、そのまま飛躍することはできない。
例えば、抽象的なゲームには明確な状態や反応がある。一方、業務では依頼の目的自体が曖昧で、関係者の合意、情報を開示してよい範囲、失敗時の責任などが絡む。正解へ到達する能力が高くても、その目標を選んでよいかは別の問題だ。
AGIを巡る意見の違いには、何を知能と数えるかの違いがある。課題遂行の幅を重視する立場、未知の環境での学習効率を重視する立場、身体や社会との関わりを含める立場では、必要な証拠が変わる。定義を示さず賛否だけを比較すると、同じ問いに答えていない議論を並べることになる。
能力が上がっても、監督が易しくなるとは限らない
OpenAIのGPT-6 Astraシステムカードは、安全境界への従い方の改善とともに、思考の記述を監視する難しさを報告する。モデルが言葉にした推論を制御しやすくなると、その記述だけを根拠に不適切な行動を検出する方法は弱くなり得る。
同カードの750〜1,250トークンの推論記述を対象とした試験では、指定された制約に従って記述を制御できた割合はAstraが60.9%、GPT-5.6 Solが16.1%だった。これは現実の利用者を欺いた割合ではない。推論の表現を変えられる能力に関する試験であり、監視可能性との関係を検討する材料である。
敵対的な試験で監視を逃れる挙動が見られたことと、通常の全利用で同じ挙動が起こることも同一ではない。逆に、限られた試験で失敗が観察されなかったことから、未知の設定でも信頼できると結論することもできない。評価を受けていることにモデルが気付く可能性など、カード自身が限界を説明している。
更新された評価は、条件も一緒に読み直す
同カードには、9月以降の訂正や追記が残っている。10月30日の追記では、生物学のWCB評価について、元の61.6%は検索あり、比較対象は検索なしという条件差があったと説明された。検索なしで修正したAstraの値は59.2%だった。外部評価者の結論は変わらないとの記載があるが、数字の比較条件は訂正された。
この例は、点数が高いか低いかの前に、ツール、情報、測定設定をそろえる必要を示す。発売時の画像や表を保存しただけで、その後の訂正まで確認したことにはならない。強力なモデルほど能力評価とリスク評価の両方が更新されるため、導入判断の根拠にも確認日を残したい。
職場では、委任する仕事から評価する
専門家の意見を比較する際にも、結論だけでなく、その人が求める証拠を並べたい。ある試験の飽和を進歩と見ることと、それを汎用性の十分な証拠と認めることは別だ。反対意見を単なる慎重さ、賛成意見を単なる宣伝と片付けず、再現可能な条件へ戻すことで議論を検証しやすくなる。
以下は当サイトの考察である。企業にとってはAGIという呼び名より、任せる仕事、使う情報、変更できる対象を具体的に決める方が役立つ。資料の整理、選択肢の提示、取引の実行では、失敗の意味が違う。全体の能力向上を理由に、一度に権限まで広げる必要はない。
導入試験では、完了率だけでなく、誤った依頼を保留できるか、情報不足を明示できるか、途中で目的を変更された際に適切に止まるかを確かめる。実行前の承認、操作ログ、取り消しの可否、予算の上限は、モデルの自己説明に依存せず実行環境側にも設けたい。
未知の課題を解く力の進歩と、人が責任を持って使えることは両方必要だ。評価の数字を丁寧に読むことは、能力を過小評価するためでも過大評価するためでもなく、どこまで任せる根拠があるかを明確にするためにある。当サイト運営のRO合同会社では、AI導入の評価項目と業務上の委任範囲について相談を受け付けている。
PR
文賢 →
