136.5倍は、どの処理を比べた数字か
複数の手順を考え、検索やプログラムを呼び、結果を見てやり直すAIエージェントは、一度だけ答えるチャットより多くの計算を使う。しかし、その差を「すべてのエージェントは136.5倍の電力を使う」と受け取ると、設計上の選択肢を見失う。
KAISTの研究者らによるThe Cost of Dynamic Reasoningは、モデルと外部ツールを組み合わせた推論の時間、電力、資源利用を分析した研究である。2025年6月の初版から2026年1月に改訂され、HPCA-32への採択が記載されている。7月のイノベトピアの紹介を起点に、論文の表と測定範囲を確認した。
一回の依頼の中に、多数のモデル実行がある
エージェントでは、利用者が一つ質問した後も処理が続く。途中の答えを振り返って直す逐次的な方法もあれば、候補を並行して探索する方法もある。モデルの規模だけでなく、反復数、分岐数、検索から戻る情報量によって総計算量は変わる。
論文本文の表IIIでは、Llama-3.1-Instructの8Bと70Bを使い、ReflexionとLATSという構成を比較している。エージェント側の課題はHotpotQA、単発の基準はShareGPTであり、まったく同じ仕事を同じ品質で処理した省電力比較ではない。この点は、実際のサービスへ倍率を当てはめる際に重要だ。
70BのReflexionでは一依頼当たりGPUエネルギーが348.41Wh、単発基準は2.55Whで、相対値が136.5倍だった。一方、同じ70BでもLATSは158.48Whで62.1倍。報告された構成の中でも結果は大きく違う。これらはGPUを対象とした測定で、施設全体の冷却やネットワークまで含めた電力量ではない。
待ち時間の最大倍率として紹介される153.7倍も、8BのReflexionと単発基準の比較である。最大電力倍率と同じ構成ではない。数字を並べるときは、モデル、手法、課題、単位をそろえる必要がある。
GPUが待っていても、仕事は終わっていない
外部ツールとの連携には、モデルが生成しない時間がある。論文ではHotpotQAやMATHの一部条件で、GPUの待機が実行時間の最大54.5%を占めた。CPUや外部システムの結果待ちがあるためだ。ツールがGPUを使う場合や、すぐ結果を返す場合には同じ割合にはならない。
この観察は、GPUを高性能にすれば待ち時間が一様に解消するわけではないことを示す。依頼内部で次の処理が前の結果を必要とするなら、並行化にも限界がある。一方、別の利用者の処理とまとめて実行する余地はあり、一依頼ずつ動かした結果を大規模な共有環境へそのまま移すこともできない。
推論に計算を追加すれば正答率が上がる場合があるが、追加一回の効果は小さくなっていく。研究は、この精度と費用の関係も課題としている。回数の上限を決めずに考え直させ続ける構成は、難しい依頼ほど費用と完了時間が読みにくくなる。
将来需要の試算を、現在の実測と混ぜない
論文は、一日当たりの依頼数を仮定し、一依頼のエネルギーからデータセンター規模の需要も試算した。表IVの約198.9GWは、70BのReflexionの測定値を一日137億件へ拡張した場合の計算結果である。世界のエージェントが現在これだけ消費しているという統計ではない。
Whは仕事一回などに使ったエネルギー、Wはある時間当たりの電力を表す。件数と一日の時間で換算する試算では、利用頻度や構成が変われば値も変わる。将来の効率改善、処理の共有、利用者の行動まで確定した予測として読むべきではない。
導入時には成功した仕事を分母にする
ここからは当サイトの考察だ。企業が測りたいのは質問一件の単価だけでなく、利用者が受け入れた成果一件に必要な時間と資源である。安い一回の回答を何度も修正する方法と、重い推論で一度に終える方法は、同じ仕事で比較して初めて判断できる。
例えば定型の照会と、複数資料の突き合わせを同じ推論設定で動かさず、難しさに応じて経路を分ける。反復には上限と終了条件を設け、答えが改善しない場合は人へ渡す。検索や計算で確かめられる部分を、長い文章の推論だけで何度も置き換えないことも有効な仮説になる。
測定では、モデル実行、検索待ち、再試行、人の修正を区別する。GPUだけのWhと、サービス全体の電力量を同じ欄へ入れない。成功率を下げて呼び出し回数だけを減らす変更なら、省力化と評価できるかを再検討したい。
研究が投げかけるのは、能力競争に加えて仕事の完成に必要な資源を設計する課題である。当サイト運営のRO合同会社では、AIエージェントの処理分担と検証工程について相談を受け付けている。
AI導入支援AI導入・活用でお悩みなら
AI導入センターに無料相談する →
