Grok 4.7の評価を読む。ベンチマークの版と推論設定で変わる数字

比べる前に、評価の版をそろえる

公式モデルカードは、CursorBench 4.0が以前の3.2より長時間のタスクを含むため、両者のスコアを直接比較できないと説明する。Grok 4.6という同じモデルでも、旧版と新版の値が違うことは、モデルの能力変化の証拠にはならない。試験の問題や制限時間が変われば、同じ受験者の点数も変わるためだ。

Terminal-Benchにも同様の注意が要る。タスクの修正、飽和した問題の除外、計算資源や実行時間の変更は、何を測る試験かそのものに影響する。旧版の高得点と新版の低得点を一本のグラフでつなげば、実際には存在しない性能の後退を描いてしまう可能性がある。Grok 4.7モデルカード

導入検討用の比較表には、モデルIDだけでなく、ベンチマーク名と版、実施日、推論設定、実行環境を残す必要がある。同じ名前の評価でも、実行用のプログラムや利用できる道具が異なれば、結果にはその差も含まれる。モデルだけの点数だと思っていたものが、実際にはモデルと周辺の仕組みを組み合わせた結果である場合がある。

推論設定の違いも、順位に入っている

開発者資料によると、Grok 4.7の推論強度はlow、medium、high、xhighで、既定はhighだ。一方、発表ページの比較表ではGrok 4.7のxHighとGrok 4.6のHighが並ぶ。高い推論設定は、難しい課題に計算を多く使うための条件であり、既定設定で同じ結果が得られると読み替えることはできない。開発者資料

発表ページのCursorBench 4.0では、4.7 xHighが46.3%、4.6 Highが40.4%とされる。同じ表に載る他社モデルも、それぞれ設定が異なる。これらは公表条件での比較として意味があるが、企業が日常の既定設定で使った場合の成績とは別に評価するべきだ。

資料間の差も残しておきたい。たとえばTerminal-Bench 4.0の4.7の値は、今回確認した発表ページでは37.6%となっている。元報道にはモデルカードの別の値が紹介されており、一つを選んで出典を省くと、後から検証できなくなる。数字が異なる場合は、資料名と確認日を添え、同じ値として混ぜない方法が堅実だ。

「新モデルが何ポイント上がったか」を知りたいなら、まず設定をそろえる。そのうえで差が残るのか、処理時間や費用も増えているのかを見る。この順序なら、計算量を増やした効果と、モデル更新そのものの効果を混同しにくい。

長時間の仕事で、何を改善したと説明しているか

公式発表は、4.6より大きいベースモデルに、難しく長いタスクを重視した強化学習を施したと説明する。自分の作業の検証や長い文脈の扱いを改善し、文書やプレゼンテーションの制作も対象にしている。単発の質問への応答だけでなく、複数工程を進める仕事を意識した位置付けだ。

ただし、長時間の仕事を最後まで実行できることと、途中の判断がすべて正しいことは同じではない。エージェントがツールを使うなら、ファイル変更、外部への送信、認証、失敗時の再実行など、モデルの外側の実装も成果を左右する。評価用の環境で高得点を得たことだけでは、社内のシステムに必要な権限や操作を安全に扱えるとまではいえない。

編集部の考察としては、長いタスクほど終了判定を先に作る価値が大きい。たとえば文書作成なら、ファイルができたことだけでなく、指定した情報が入り、出典が確認でき、開いて読めることまで成功条件にする。コードの修正なら、変更の説明と検証結果を受け取る工程まで含めて比較する必要がある。

単価と、仕事一件の費用を分ける

公式ページの標準料金は入力100万トークンあたり2ドル、出力6ドルから。開発者資料は50万トークンのコンテキストを案内する。ただし長い入力や高速版には別の料金条件があるため、「2ドル・6ドル」だけで総費用を見積もらないほうがよい。実際の料金と利用上限は、利用経路と契約時点で確認する必要がある。

長時間のエージェントは、一度送った指示だけを処理するわけではない。過去の会話やツールの結果を繰り返し入力し、検索やコード実行を挟むことがある。公式資料はキャッシュの利用や文脈の圧縮にも触れている。入力の再利用が効くかどうかで、同じ仕事の費用が変わるためだ。

Fast版は同じモデルを高速な基盤で提供する仕組みだが、開発者資料ではCursorとGrok Buildでの提供とされ、公開APIには含まれない。通常料金の単純な延長として、どの窓口でも同じように使えるとは限らない。速度を比較するときも、モデル名だけでなく提供経路を記録したい。

日本の業務では、トークン単価に加え、修正に必要な人の時間を含めた比較が重要になる。安い出力を大量に受け取っても、確認や作り直しが増えれば一件の総費用は下がらない。逆に、少し高い設定でも一度で検証を通るなら、最終的には安い場合がある。これは公開価格だけから決まる問題ではなく、自分の仕事で測る必要がある。

安全性の評価も、成功率と誤拒否を読む

公式発表は、拒否と脱獄への耐性を強化したと説明し、社内のHackerBench v0.3や外部のバイオセーフティ評価を示す。危険な依頼への応諾が少ないことと、正当な仕事を誤って拒否しないことは、両方を確認する必要がある。

ただし、特定の評価で安全性が改善したことは、あらゆる入力で安全という保証ではない。モデルカードには改善しない領域や低下した指標もある。自社のセキュリティ業務で利用するなら、対象となる行為、扱うデータ、接続するツールに合った検証を追加する必要がある。

また、危険な依頼を断れることと、読み込んだ文書に含まれる悪意ある指示から社内データを守れることも同一ではない。拒否の評価、情報漏えいの評価、外部操作の承認は、異なる層で設計することになる。モデルにすべてを任せるのではなく、与える権限と実行できる操作も絞ることが大切だ。

導入時に残したい比較記録

実際の選定では、同じ入力、同じ資料、同じ道具、同じ成功条件で複数の設定を試す方法がある。成果物の品質、失敗の種類、待ち時間、課金、手直し時間を一緒に記録すれば、ベンチマークの順位が自分の仕事にも当てはまるかを検証できる。

モデルIDを固定し、更新後には少数の代表タスクで再確認することも重要だ。推論設定や提供経路が変わったときに、以前の数値をそのまま予算や納期の根拠にしない。公開評価は候補を絞る材料であり、最終的な受入条件は現場の仕事から作る必要がある。

Grok 4.7の資料が教えるのは、点数の高低を読む前に、評価条件を読むという基本だ。モデルの進歩が速いほど、物差しの版と設定を残す意味も大きくなる。業務向けAIの比較・検証設計については、運営会社のRO合同会社へ相談いただける。

参考報道：イノベトピアの元記事。公式資料確認日：2026年10月20日。性能値は公表された条件の結果であり、当メディアの独自測定ではない。