「27B（270億）パラメータ級のモデルをスマートフォンで動かす」というニュースは、単なるモデル軽量化の話ではない。AIをどこで動かすか、というインフラ設計の前提を揺さぶる出来事だ。
PrismMLは2026年7月、Qwen3.6-27Bを基にしたマルチモーダルモデル「Bonsai 27B」を公開した。公式発表によれば、FP16で約54GBとなるモデルを、1-bit版では約3.9GB、三値版では約5.9GBに収めている。1-bit版はiPhone 17 Pro Max上で約11 tok/sの推論を掲げる。モデルはApache 2.0で公開されている。PrismMLの発表とモデルカードで、構成と実行方法を確認できる。
Appleについては、PrismMLとの協議や技術評価が報じられている一方、Appleによる採用・製品搭載の正式発表はない。報道と、PrismML CEOの発言を報じた国内記事は、あくまで早期の評価・協議として読むべきだろう。
本題は「27B」ではなく、メモリへ収めたこと
注目点は、モデルのパラメータ数ではなく、重みを端末のメモリ予算に収めたことにある。
通常、FP16の重みは各値を16bitで保持する。Bonsai 27Bの三値版は重みを {−1, 0, +1} に制約し、グループごとのFP16スケールを組み合わせる。PrismMLの説明では、三値版は実効1.71 bit/weight、1-bit版は実効1.125 bit/weightであり、埋め込み・Attention・MLP・LM headまで低ビット化するエンドツーエンド設計だ。技術概要によれば、視覚タワーは4bitで保持する。
これは単に「後から量子化した」だけではない。低ビット表現で品質を残すには、量子化誤差、再学習、カーネル実装、KVキャッシュ、実機のメモリ制約を一体で設計する必要がある。Bonsai 27Bは、その設計をデプロイ可能なサイズへ押し込んだ点に意味がある。
推論の制約は、演算性能より重みの移動にある
LLM推論では、各トークンの生成ごとに大量の重みをメモリから読み出す。そのため、特にバッチサイズが小さい対話型推論では、FLOPSよりもメモリ容量・帯域が支配的になる場面が多い。
重みを小さくする
→ メモリから読むデータ量が減る
→ 帯域待ちが減る
→ 同じハードウェアでも速度・電力効率を改善できる
PrismMLは最大8倍高速、消費エネルギーを最大5分の1と主張する。ただしこれは同社条件下のベンチマークである。端末での性能は、入力長、出力長、KVキャッシュ、温度、バックグラウンド処理、実装バックエンドで大きく変わる。数値を導入判断へ使うなら、対象端末・プロンプト・連続実行時間をそろえた自社測定が必要になる。
エッジAIは「小さな補助機能」から設計対象へ進む
モデルが端末に収まると、処理経路を変えられる。
従来: 端末 → ネットワーク → クラウド推論 → 結果
今後: 端末 → ローカル推論 → 結果
└ 必要時だけクラウドへ委譲
この変化が効くのは、速度だけではない。
- オフライン時にも、要約・翻訳・音声や画面の理解を継続しやすい
- リクエスト数と送受信量を抑え、API費用とネットワーク依存を下げられる
- 個人情報を端末外へ出さず、結果や匿名化済みの情報だけを送れる
- 集中型GPUのピーク負荷を、端末側の推論で平準化できる
特に健康情報、音声、写真、メール、予定表のようなデータでは、端末で抽出・判定 → 必要最小限の結果だけ送信という構成が取りやすくなる。これはZero Trustやデータ所在の統制、Privacy by Designと矛盾しない。
ただし「端末内だから安全」と短絡してはいけない。端末紛失時のデータ保護、モデルファイルの改ざん対策、プロンプトインジェクション、ログの扱い、ローカルツール実行の権限設計は、クラウドとは別の形で残る。
クラウドが消えるのではなく、配置を選ぶ仕事が増える
27B級が端末で動くとしても、クラウドが不要になるわけではない。大規模検索、組織横断RAG、長いコンテキスト、複数エージェントの調停、学習・評価基盤は、依然として集中した計算資源とデータ基盤を必要とする。
現実的な構成は、端末とクラウドの二者択一ではなく、処理特性に応じたルーティングだ。
| 処理特性 | 第一候補 | 設計上の理由 |
|---|---|---|
| 個人データを含む短い会話、要約、翻訳 | 端末 | 低遅延・データ最小化 |
| 音声・画像の前処理、入力分類 | 端末 | 即応性と通信量削減 |
| 社内文書の横断検索、権限付きRAG | クラウド／社内基盤 | 最新データ・アクセス制御・監査 |
| 長時間推論、大規模エージェント | クラウド | 計算量・共有ツール・運用監視 |
| 判断が難しい要求 | ハイブリッド | 端末で分類し、必要時のみ昇格 |
ここで重要なのは、モデルを固定配置しないことだ。データの機微度、待ち時間、通信状態、トークン量、コスト、必要なツール権限を入力として、Right Model, Right Placeを決めるルーティング層がAI基盤の中核になる。
導入前に確認したい5項目
PrismMLの発表をそのまま製品要件に置き換える前に、次を確認したい。
- 品質：自社の日本語、専門用語、ツール呼び出し、画像入力で、元モデルや4bit版と比較したか。
- 実効メモリ：モデル本体だけでなく、KVキャッシュ、アクティベーション、アプリ本体を含めて端末予算に収まるか。
- 継続性能：数分〜数十分の連続推論で、発熱・サーマルスロットリング・電池消費を測ったか。
- 運用性：モデル配布、更新、脆弱性対応、評価データの版管理をどう行うか。
- 委譲条件：どの要求をクラウドへ送るか、その判断・同意・監査ログを定義したか。
公式ベンチマークでは、三値版は15ベンチマーク平均でFP16ベースラインの95%超、1-bit版は90%超を掲げる一方、ツール利用・指示追従・視覚理解では低下も示されている。スコアの内訳まで見て、平均値だけで判断しないことが大切だ。第三者による再現可能な実機検証も、これからの論点になる。
AIインフラは「GPU台数」だけでは語れなくなる
Bonsai 27Bは、オンデバイスLLMがただちにクラウドを置き換えることの証明ではない。しかし、十分に大きなモデルを端末のメモリ予算へ収められれば、AIの配置は現実の設計選択肢になる。
これからのアーキテクトに必要なのは、GPU台数やモデルのパラメータ数だけでAI基盤を見積もらないことだ。メモリ帯域、電力、データの所在、ネットワーク、端末の更新周期、クラウドへの委譲条件まで含めて最適化する。その入口として、PrismMLの発表は注目に値する。
作成日：2026年7月16日