はじめに

最近、AI界隈で 「1.58ビット量子化（Ternary）」 が話題です。

「モデルが軽量化され、iPhoneや数年前のPCでも爆速で動く！」という夢のような記事（TechnoEdgeさんのMacBook Neoの記事など）を目にし、私は思いました。

「俺の10年来の相棒（第8世代i7ノート）でも、ローカルLLMが実用レベルで動くんじゃないか？」

さらに、OllamaでGGUFが直接実行可能になったというニュースが背中を押し、検証をスタートしました。

検証環境：2010年代を支えた戦友

今回使用したのは、一世代前…いや、今や「古参」の部類に入るスペックのノートPCです。

CPU: Intel Core i7-8650U (4C/8T, 1.90GHz)
Memory: 16GB (LPDDR4-2400MT/s)
OS: Windows 11 + WSL2 (Ubuntu 24.04)
Docker: Open WebUIを同居
モデル: prism-ml/Ternary-Bonsai-8B-GGUF (Q2_0 / 約2.18GB)

llama.cppをビルドし、いざ実行！……
しかし、ターミナルに表示されたのは無情な数字でした。

[ Prompt: 0.8 t/s | Generation: 0.7 t/s ]

0.7 t/s。
文字通り「2秒に1文字」です。

Bonsai（盆栽）という名の通り、成長をじっくりと、気の遠くなるような時間で見守るような生成速度でした。

この「絶望的な遅さ」の正体を分析してみました。

「モデルが2GBまで軽くなったなら、16GBメモリなら余裕だろ？」
そう思っていた時期が私にもありました。

しかし、LLMの速度を決定するのは容量（GB）ではなく、 帯域（MT/s：道路の幅） だったのです。

「あと約1万円出して32GBにすれば…」という誘惑がありますが、
この比喩を思い浮かべて踏みとどまりました。

メモリ増設は 「駐車場の面積を広げる」 行為です。

多くのコンテナやタブを開いてもフリーズしなくなりますが、
1つのモデルをCPUに流し込む 「道路（帯域）」 が太くなるわけではないのです。

実際に動かしてみての体感温度です。

今回の検証で得られた教訓は以下の通りです。

この「0.7 t/s」という記録を胸に、私は心に決めました。
「なんとか30万円稼いで、帯域の太い最新マシンに買い換えてやる」 と。

同じように「古いPCでローカルAIを…」と考えている方の参考（あるいは警鐘）になれば幸いです。