はじめに
最近、AI界隈で 「1.58ビット量子化（Ternary）」 が話題です。
「モデルが軽量化され、iPhoneや数年前のPCでも爆速で動く！」という夢のような記事（TechnoEdgeさんのMacBook Neoの記事など）を目にし、私は思いました。
「俺の10年来の相棒（第8世代i7ノート）でも、ローカルLLMが実用レベルで動くんじゃないか？」
さらに、OllamaでGGUFが直接実行可能になったというニュースが背中を押し、検証をスタートしました。
検証環境：2010年代を支えた戦友
今回使用したのは、一世代前…いや、今や「古参」の部類に入るスペックのノートPCです。
- CPU: Intel Core i7-8650U (4C/8T, 1.90GHz)
- Memory: 16GB (LPDDR4-2400MT/s)
- OS: Windows 11 + WSL2 (Ubuntu 24.04)
- Docker: Open WebUIを同居
- モデル: prism-ml/Ternary-Bonsai-8B-GGUF (Q2_0 / 約2.18GB)
実行結果：0.7 t/s の衝撃
llama.cppをビルドし、いざ実行！……
しかし、ターミナルに表示されたのは無情な数字でした。
[ Prompt: 0.8 t/s | Generation: 0.7 t/s ]
0.7 t/s。
文字通り「2秒に1文字」です。
Bonsai（盆栽）という名の通り、成長をじっくりと、気の遠くなるような時間で見守るような生成速度でした。
なぜ「1.58ビット」でも遅いのか？
この「絶望的な遅さ」の正体を分析してみました。
1. 「容量」と「帯域」の罠
「モデルが2GBまで軽くなったなら、16GBメモリなら余裕だろ？」
そう思っていた時期が私にもありました。
しかし、LLMの速度を決定するのは容量（GB）ではなく、 帯域（MT/s：道路の幅） だったのです。
2. メモリ32GB増設で解決するか？
「あと約1万円出して32GBにすれば…」という誘惑がありますが、
この比喩を思い浮かべて踏みとどまりました。
メモリ増設は 「駐車場の面積を広げる」 行為です。
多くのコンテナやタブを開いてもフリーズしなくなりますが、
1つのモデルをCPUに流し込む 「道路（帯域）」 が太くなるわけではないのです。
生成速度 (t/s) と実用性のリアル
実際に動かしてみての体感温度です。
| 速度 (t/s) | 体感レベル | 実用性 |
|---|---|---|
| 0.5 ~ 1.0 | 1文字ずつタイピングを待つ | 非実用的。 盆栽鑑賞モード。 |
| 2.0 ~ 5.0 | ニュースのテロップ | ギリギリ。 短文なら耐えられる。 |
| 10.0 | 速読スピード | 実用的。 開発の壁打ちが可能。 |
| 30.0~ | 文字の塊が「ドン！」 | 快適。 思考を追い越す。 |
まとめ：盆栽(BONSAI)を育てるには、道路拡張が必要だった
今回の検証で得られた教訓は以下の通りです。
- 1.58ビット化は神技術。 2GBで8Bモデルが動くこと自体が魔法。
- しかし、ハードの物理限界は超えられない。 古いPCのDDR4-2400帯域では、モデルがいくら軽くなってもデータの転送が追いつかない。
- メモリ容量より帯域。 32GBにするより、LPDDR5やユニファイドメモリへの乗り換えが正解。
この「0.7 t/s」という記録を胸に、私は心に決めました。
「なんとか30万円稼いで、帯域の太い最新マシンに買い換えてやる」 と。
同じように「古いPCでローカルAIを…」と考えている方の参考（あるいは警鐘）になれば幸いです。