0 / 7 節読了

Moonshot AIが公開したKimi K3.1 Proは、コーディングや知識作業の評価値と、その実行費用を同時に打ち出したモデルだ。Terminal-Bench 4.0では65.7%と発表されたが、比較図の点数、推論量、費用を別々に抜き出すと意味が変わる。オープンウェイトとしての位置付けも、サービス開始と重みの配布開始を分けて確認する必要がある。

本稿は10月28日朝に公開情報を確認した。7月のKimi K3と、今回のK3.1 Proは別の発表である。性能は提供元の測定として紹介し、自社環境での再現を保証するものとは扱わない。

いま使える経路と、これから配布されるもの

公式技術ブログによると、K3.1 Proは3兆パラメータ級、100万トークンの文脈を扱うモデル。Kimi.ai、Kimi Work、Kimi Code、APIで提供され、Highspeed版は通常版の2〜3倍の速度と説明されている。

重みの配布は11月4日までに行う予定とされる。10月28日時点で「オープンウェイトのモデル」と呼ばれていても、全ウェイトをすでに取得できるとみなさないことが重要だ。配布後もライセンス、実行条件、必要なGPUやメモリを確認する必要がある。

公開APIで使う、外部の推論事業者を使う、自社サーバーに載せる、という経路では、費用もデータの扱いも異なる。大規模な重みを保有できることと、個人のPCで快適に動くことは同じではない。設備、更新、監視まで含む見積りが必要になる。

65.7%にはエージェントと推論量の条件がある

発表のTerminal-Bench 4.0の65.7%は、推論量maxで、Claude Codeを評価用のエージェントとして使った結果だ。モデルが文章で答えただけの試験ではなく、ツールを使って課題を進めるシステムとして測られている。

一方、比較表にあるClaude Opus 5.5の66.4%は、Anthropic側の発表値で推論量xhighのもの。費用図に置かれたOpusの64.85%とは同一の測定ではない。点数の高い値と安い費用を別の条件から組み合わせれば、実在しない比較を作ってしまう。

Terminal-Benchの公開情報と試行ごとの集計説明は、課題数や試行数を確かめるための手掛かりになる。再現を考える場合は、ベンチマークの版、エージェント、推論量、成功判定、利用した料金の時点をセットで残す必要がある。

費用図は請求単価そのものではない

Moonshotの図では、K3.1 Proのhighが52.8%・4.16ドル、maxが65.7%・5.25ドルと示される。比較されるOpusのmaxは64.85%・14.30ドルで、図の上では近い点数を低い実行費用で出した位置関係になる。

ただしK3.1 Proの5.25ドルについて、試行数と総額を同じ粒度で追える内訳は示されていない。これは発表元の数値として扱うべきであり、自社の一案件が5.25ドルで終わると見積もる根拠にはならない。

Kimi APIの案内で確認すべきなのは、利用するモデル、入力・出力・キャッシュ等の課金区分と使用量だ。実行費用にはツールの反復や失敗後のやり直しも影響する。Highspeedの速度も、実際の待ち時間を同じタスクで測って判断したい。

得意分野の広がりと、科学作業の限界

公式比較表はコーディング、科学、知識労働など14項目を載せる。K3.1 ProはSWE Marathon、Agents’ Last Exam、OfficeQA Pro v2などで高い値を示す一方、Terminal-Bench-Science 0.1では38.1で、Astraの68.1と差がある。ある開発課題で良い結果でも、研究の複雑な工程へ一律に適用できるわけではない。

3D制作では、BlenderやCADのスクリプトを作成・実行し、Unity、Unreal Engine、Godotなども扱うと説明している。複数視点の画像からCADコードを作るBenchCADでは、ツール使用時と非使用時で結果が大きく変わる。モデル単体の理解力と、道具を使う構成の成果を分けて読む材料だ。

サービスには3D Makeも加わり、プレビューや編集、3Dプリント用の書出しを案内する。ただし、出力できた立体が寸法、公差、強度の条件を満たすとは限らない。本稿の考察として、業務用の部品設計では、形状の見た目と製造に必要な検査を別工程にする必要がある。

金融の生成例も、検証が前提

発表は金融モデリング、金融調査、会社経営シミュレーションの社内評価でK3からの改善を示す。これらは同社内での前世代比較であり、すべての他社モデルに勝つという評価ではない。ExcelやPowerPointの生成例があることも、投資判断の正しさを意味しない。

日本の業務で使うなら、計算式が連動しているかに加えて、参照元、基準日、通貨、会計期間、仮定を確認する。出力された表が整っていても、元データが古い、計算対象が違う、セルの一部だけ数式が欠けるといった失敗は別に点検する必要がある。これは本メディアによる運用上の提案である。

公開する能力をどう制限したか

Moonshotは学習段階でサイバー関連データを除去したと説明し、同社の試験で能力を抑える効果を測った。対策前の内部モデルが90.5%、K3.1 Proが81.0%、旧K3が33.3%というpass@3の比較だ。3回までの試行で成功した割合であり、通常の一回成功率と混ぜてはならない。

この対策は、攻撃能力がなくなったことを証明するものではない。重みが配布されるモデルでは、提供時のAPIの制限と、配布後の実行環境での制限も分かれる。導入側もネットワーク、ファイル、外部送信の権限を限定し、目的に必要な範囲で動かす責任がある。

同じ仕事を、小さく比較する

既存のClaude Code環境から検証したい場合は、Kimiの接続説明を確認し、認証情報と接続先を混同しないことが必要だ。本番の秘密情報を入れる前に、公開コードや架空データで、完成度、実行時間、費用、確認にかかる手間を比較する方法が考えられる。

AI社員や専門エージェントの業務設計に関する相談先は、運営会社のRO合同会社の公式サイトに掲載されている。順位だけでモデルを固定せず、得意な仕事、失敗時の戻し方、運用経路を決めることが選定の中心になる。

参考報道:イノベトピア。重み公開後の独立測定とライセンス条件は、改めて確認する必要がある。

柴亮太
柴亮太の視点