大きな言語モデルを端末内で動かすには、モデルを保存する容量だけでなく、実行中のメモリー、計算速度、電力も考える必要がある。PrismMLが2026年7月14日に発表したBonsai 27Bは、重みを低いビット数で表現する圧縮を使い、この制約へ取り組む。10月30日の記事では、7月発表のモデルを特定して扱い、同社の後続製品すべての性能を表すものとはしない。
270億パラメーターを、少ないビットで表す
PrismMLの公式発表によると、対象はQwen3.6 27Bを基にしたモデルである。16ビットでの重みは約54GB、一般的な4ビット表現でも約18GBと説明する。Bonsaiでは、二値系の版が実効1.125ビットで約3.9GB、三値系の版が実効1.71ビットで約5.9GBとなる。
「二値」と呼んでいても、すべてのデータを厳密に1ビットだけで保存するわけではない。グループごとのスケールなど補助的な情報が加わり、実効ビット数は1を超える。画像を扱う部分にも別の精度を使うため、名称だけからファイルサイズを単純計算しない方がよい。
圧縮の狙いは、モデルの構造を保ちながら、保存と読み出しの負担を減らすことにある。ただし、表現できる値を少なくすると情報が失われる。容量が小さいことと、あらゆる仕事で元の品質を保つことは同じではない。
「性能の何割を維持」の読み方
同社は15種類の評価を集計し、思考モードで三値版が基準モデルの約95％、二値版が約90％の平均性能を維持したと示している。これは同社が選んだ評価と集計方法に基づく比較であり、独立した利用現場の保証ではない。
平均の保持率が高くても、ツールの利用や画像を扱う課題では落ち込み方が違う。業務で必要な一つの機能が弱ければ、ほかの評価が高くても代替できない場合がある。日本語の文書、長い入力、専門用語、出力形式など、自分の用途に近い条件で確かめる必要がある。
精度を測る際には、正しく回答した割合だけでなく、分からないときに回答を控えるか、誤った操作を指示しないかも確認したい。端末内で動くモデルであっても、外部のツールへ書き込みできる構成なら、その操作には別の権限管理が必要になる。
重みが入ることと、快適に動くこと
スマートフォンに3.9GBのファイルを保存できても、利用できるメモリーのすべてをモデルへ割り当てられるわけではない。OSやほかのアプリに加え、実行時の計算、会話を保持するキャッシュにも空きが必要だ。長い入力ほど、その負担も増える。
公式のコンテキスト長は、対応できるモデル構造の上限である。最大長をスマートフォンで常に快適に使えることまで示していない。短い質問の速度と、長い資料を読んだ後の応答速度も分けて測る必要がある。
同社はGPUやAppleのコンピューターを使った速度も掲載しているが、その値を別の端末へそのまま当てはめることはできない。チップ、メモリーの帯域、実行ソフトウェア、電源や温度の条件で変わるためだ。実際の端末では、連続利用後の発熱や電池の消費も確認したい。
プライバシーの利点は、経路を確かめてから
端末内で処理が完結する構成なら、入力を外部サーバーへ送る必要を減らせる。しかし、アプリが解析ログを送る、検索のために外部へ問い合わせる、会話をクラウドへ保存する構成なら、データは端末の外へ出る。「ローカルモデルを使う」という説明だけで、通信が一切ないと判断しないことが重要だ。
オフラインで動作するか、どの情報を保存するか、削除したときに何が残るかを、利用するアプリごとに確認する必要がある。モデルの配布ライセンスと、元のデータや利用するアプリの条件も別に読むべきだ。公式発表ではApache 2.0での公開を案内しているが、組み込む製品全体の権利確認を代替するものではない。
Appleが評価しているという話題は企業側の説明として報じられた。本記事では、Apple自身による採用や出荷の公式確認を得ていない。評価段階の話を、端末へ標準搭載される契約が決まったことへ読み替えない。
導入前は、同じ仕事で比較する
以下は当編集部の考察である。端末内AIを検討するなら、普段の資料と質問を使い、クラウドモデルとの品質差、応答時間、確認にかかる時間を比べると判断しやすい。通信できない場所で役立つことと、複雑な質問で十分な精度が出ることを、別々に評価する。
圧縮で浮いた容量を、会話の長さやほかの機能へ使える可能性がある一方、精度の低下で修正が増えれば、業務全体の負担は軽くならない。容量、速度、品質、消費電力、情報の経路を同じ表で確認し、どの仕事を端末側に残すかを決める方が実用的だろう。
参考報道：イノベトピア。仕様と評価値はPrismMLの7月発表に基づき、利用現場への示唆は当編集部の考察である。運営会社RO合同会社では、AIの実行環境や業務への組み込みについて相談を受け付けている。
書籍ゼロからはじめるGitHub
Kindleで読む →
