本記事の執筆には Anthropic の Claude Fable 5 とそのリサーチ機能を使用しています。会話で組み立てた論旨に対して、リサーチ機能で一次情報(arXiv論文・公式ブログ・技術報道)の収集と全数値のファクトチェックを行い、判明した誤りを訂正しています。
はじめに
この記事を書いた動機は個人的なものです。注文した M5 Max 128GB の MacBook Pro で、いまのフロンティアモデル同等レベルのローカルLLMをいつ頃使えるようになるのだろう、という素朴な疑問からです。
ここで言う「いまのフロンティアモデル」は、2026年6〜7月に相次いで公開・発表されたオープンウェイトモデルをイメージしています。規模を整理すると次のとおりです。
| モデル | 総パラメータ | アクティブ | 状況 |
|---|---|---|---|
| GLM-5.2(Z.ai) | 753B | 約40B(256エキスパート中8+共有1) | 2026年6月13日公開、6月16日にMITライセンスでオープンウェイト公開済み |
| Kimi K3(Moonshot AI) | 2.8T | 約50B(896エキスパート中16、Stable LatentMoE) | 7月16日にAPI公開。重みはネイティブMXFP4(QAT)で7月27日までに公開予定(7月24日時点では未公開) |
| Qwen3.8-Max(Alibaba) | 2.4T (公称) |
非開示 | 7月19日からMax-Previewとしてクラウド提供のみ。重み・モデルカード・ライセンスは未公開 |
ディスク容量の目安として、GLM-5.2はBF16の素の重みで約1.51TB(FP8でも約756GB)、Kimi K3はネイティブMXFP4でも約1.4TB(2.8T×0.5byte)に達します。K3の自己ホストはMoonshot公式が64アクセラレータ以上のスーパーノード構成を推奨しており、80GB級GPUを8基×8ノード並べる規模のインフラが実質的な前提です。つまり現時点では、当然ですがこの3モデルはいずれもM5 Max 128GBでのローカル実行の対象外です。これと同等レベルのモデルがいつ頃実行できるようになるのか、というのが本記事の出発点です。先に答えを言えば、本文の外挿では重みが100GBライン(4bit量子化で約200B相当)を横切るのは2027年半ば〜2028年ごろ(起点を2.8Tに取ればやや後ろ倒し)、KVキャッシュ側はすでに数GB級に収まる見通しなので、「思ったより近い」です。
上記はユーザーとしての願望がベースですが、自身の半導体関係のエンジニアとしての視点から、フロンティアLLMの推論インフラを「CPUマイクロアーキテクチャの歴史の再演」としても読み解いてみます。結論を先に述べると、2026年時点のフロンティア級MoE(約2兆パラメータ)が、量子化・能力密度向上・推論時計算という3つのレバーによって、システム全体として同性能を保ったまま100GB級に収まる射程が見えてきています。そして、その推論を成立させるメモリ階層管理(KVキャッシュ、MoE重みのSSD退避、prefill最適化、ハーネスの知性化)は、1980〜1990年代のCPUが辿った仮想記憶・分岐予測・投機実行・メモ化の歴史をほぼそのまま反復しています。
本記事の数値はすべて一次情報(arXiv論文、公式ブログ、技術報告)で確認しています。断定と推測は区別し、ベンダーの自己申告値はその旨を明記します。
なお、NANDをHBMのように積層してGPU/SoCパッケージ内に同居させるHBFという規格が検討中で、それが完成すると、そもそも重みをRAMに収める必要がなくなります。そちらについては以下の記事に書きました。
1. 導入:2兆の重みは100GBになるか
フロンティアLLMのパラメータ数は増え続けていますが、同時に「ある能力水準を達成するのに必要なパラメータ数」は急速に減っています。この二つのトレンドの綱引きが、本記事全体の出発点です。
縮小を駆動するレバーは3つあります。
- 量子化:4bit量子化認識トレーニング(QAT)。NVIDIAのNVFP4、Open Compute Projectが定義するMXFP4、そしてMicrosoftのBitNet b1.58(三値{-1,0,+1}、1パラメータあたり log₂3 ≈ 1.58 bit)。
- 能力密度の向上:蒸留、データ品質、強化学習(RL)による「単位パラメータあたりの能力」の上昇。
- 推論時計算:long CoT(長い思考連鎖)により、重みに埋め込む代わりに推論時に能力を引き出す。
図1. 3つのレバーの寄与を整理すると次のようになります。
| レバー | 代表技術 | 圧縮への寄与の目安 |
|---|---|---|
| 量子化 | NVFP4 / MXFP4のQAT、BitNet b1.58 | FP8比で2〜4倍 |
| 能力密度の向上 | 蒸留・データ品質・RL | 倍加時間3〜3.5ヶ月(Densing Law、後述) |
| 推論時計算 | long CoT、Best-of-N | モデルサイズ外のFLOPsで能力を補完 |
Andreessen Horowitz(a16z)は、この現象を「LLMflation」と呼び、Guido Appenzellerの記事(2024年11月)で「同一性能のLLMについて、コストは毎年10倍下がっている(For an LLM of equivalent performance, the cost is decreasing by 10x every year)」と断定しています。具体例として、GPT-3級(MMLU 42)を実現するコストは、2021年11月時点の100万トークンあたり60ドル(GPT-3)から、Together.aiのLlama 3.2 3Bの100万トークンあたり0.06ドルへ、3年で1000分の1に低下したと報告されています。MMLU 83級(GPT-4以降)でも同期間に約62分の1に下がったとしています。
ここで(私的に)問われるのは「100GBに収まるか」という物理的な問いです。答えは条件付きでYesです。知識容量には床がありますが(後述)、RAGやツールで知識を外部化した「システムとしての同性能」なら100GBは射程内にある、というのが本記事の立場です。
2. 重み圧縮トレンドの定量化
2.1 同性能を達成するモデルサイズの推移
同じ「GPT-4級」の能力を、より小さいモデルが順次達成してきた履歴を並べると、圧縮の速度が見えてきます。以下は本記事の著者が公開情報から組んだ系列であり、GPT-4のパラメータ数(約1.8兆MoE)はOpenAI非公開の噂値です。また「同性能」の判定はMMLU等の特定ベンチマーク上の比較であり、あらゆる能力での同等を意味しない点にも注意してください。
| 世代 | 代表モデル | 総パラメータ | 公開時期 |
|---|---|---|---|
| GPT-4級 | GPT-4(噂値、MoE) | 約1.8兆 | 2023年3月 |
| GPT-4級 | Llama 3.1 405B | 4050億 | 2024年7月 |
| GPT-4級 | Llama 3.3 70B | 700億 | 2024年12月 |
| GPT-4級 | QwQ-32B / Qwen3-32B | 320億 | 2025年 |
約2年で1.8兆→320億、およそ56分の1です。対数最小二乗フィットで、著者の計算では半減期はおよそ4.3ヶ月になります。一世代前のGPT-3級(175B、2020年)→ Llama 13B(2023年)→ Phi-3-mini 3.8B(2024年)の系列では、同じく著者の計算で半減期はおよそ8.5ヶ月でした。つまり圧縮そのものが時代とともに加速しています。
2.2 Densing Lawとの比較
この観察は、清華大学とModelBest(面壁智能)のChaojun Xiaoらが提唱した「Densing Law(密度化の法則)」と整合します(arXiv:2412.04315、Nature Machine Intelligence掲載)。同論文は「能力密度(capacity density)」を、あるモデルと同性能を達成するのに必要な参照モデルの実効パラメータ数÷実パラメータ数と定義し、オープンソースLLMの能力密度が指数的に増加していることを示しました。倍加時間について、arXiv版本文は「LLMの能力密度はおよそ3ヶ月ごとに倍増する(the capacity density of LLMs doubles approximately every three months)」、Nature Machine Intelligence版(s42256-025-01137-0)要旨は「約3.5ヶ月ごとに倍増する」としています。
著者の半減期(GPT-4級で4.3ヶ月)は、Densing Lawの倍加時間よりやや保守的で、a16zのLLMflation(10倍/年 ≒ 3.6ヶ月で半減)ともおおむね同じ桁に収まります。
2.3 外挿と100GBライン
保守的に半減期5.5ヶ月と置いて外挿すると、2026年のフロンティア級(約2兆パラメータ)が「100GBライン」を横切るのは2027年半ば〜2028年初頭と見積もれます。ここで100GBラインとは、4bit量子化でおよそ2000億パラメータ相当のことです(200B × 4bit = 100GB)。これは著者による外挿であり、トレンドが線形に続くという仮定に依存する推測値です。なお冒頭で見たとおり、2026年世代の実勢は総パラメータ2.4〜2.8T(Qwen3.8、Kimi K3)なので、起点の「約2兆」は2〜3Tの幅で読むのが安全です。ディスク・メモリを律速するのは活性パラメータではなく総パラメータですから、K3の2.8Tを起点に取ると(4bitで約1.4TB)、100GBラインとの交差は約2Tを起点にした場合より数ヶ月後ろ倒しになります。
図2. 縦軸は対数です。GPT-3級(半減期約8.5ヶ月)よりGPT-4級(約4.3ヶ月)の傾きが急で、圧縮の道具立て(蒸留・合成データ・推論時計算)が揃うにつれ縮小自体が加速していることが読み取れます。
2.4 床:知識容量2bit/パラメータ
ただし完全同等には床があります。Meta/FAIR LabsのZeyuan Allen-ZhuとMBZUAIのYuanzhi Liによる「Physics of Language Models: Part 3.3」(arXiv:2404.05405、ICLR 2025)は、制御された実験から「言語モデルは1パラメータあたり2ビットの知識しか、そして確かに2ビットまで格納できる。int8に量子化してもこの値は保たれる(language models can and only can store 2 bits of knowledge per parameter, even when quantized to int8)」ことを示しました。同論文は具体例として「7Bモデルは140億ビットの知識を格納でき、これは英語版Wikipediaと教科書を合わせたものを上回る」と見積もっています。
この床が意味するのは、閉本(closed-book)の長尾知識まで完全同等を求めると、パラメータ数を無限に減らせないということです。200Bパラメータなら格納できる知識は最大400Gビット=約50GB相当に留まります。したがって、知識をRAGやツールで外部化して「システムとして同性能」を狙うのが現実解となります。100GBは、そのアーキテクチャなら射程内です。
3. KVキャッシュ縮小史:重みより速く縮んでいる
KVキャッシュ(自己回帰生成のためにトークンごとに保持するKey/Value)は、重み以上のスピードで縮小してきました。1トークンあたりのKVキャッシュを世代順に並べると、逆転現象すら起きています。
3.1 per-token KVキャッシュの推移
| モデル/方式 | 注意機構 | 主要構成 | per-token KV(概算) |
|---|---|---|---|
| GPT-3 175B | MHA | 96層×96ヘッド×128次元 | 約4.7MB(FP16) |
| Llama 65B | MHA | 80層×64ヘッド×128次元 | 約2.6MB(FP16) |
| Llama 2/3 70B | GQA(KVヘッド8) | 80層×8×128 | 約328KB(FP16) |
| DeepSeek-V2/V3 | MLA | 潜在512+RoPE64=576/層、61層 | 約70KB(FP16) |
| DeepSeek-V3 | MLA + FP8 | 同上、FP8運用 | 約35KB |
| Kimi Linear等 | ハイブリッド線形 | KDA:MLA=3:1 | 10KB台 |
図3. GPT-3のper-token KVは、96層×96ヘッド×128次元×2(KとV)×2バイト = 4,718,592バイト ≈ 4.5MiB(≈4.7MB)です(GPT-3の96層・96ヘッド・head次元128という構成は原論文の記載どおり)。これがMLAで約70KBまで、実に約67分の1に縮みました。671BのDeepSeek-V3のKVキャッシュが、8B級のGQAモデルより小さいという逆転が象徴的です。
3.2 縮小のレバー
KVキャッシュ縮小の技法は、大きく5系統に整理できます。
注意機構そのものの改変:
- MQA/GQA:Key/Valueヘッドを共有。GQAはLlama 2/3 70Bで採用。
- MLA(Multi-head Latent Attention):DeepSeek-V2(arXiv:2405.04434)が導入。Key/Valueを低ランク潜在ベクトルへ共同圧縮。V2の技術報告は「DeepSeek 67Bと比べ、DeepSeek-V2は訓練コストを42.5%削減し、KVキャッシュを93.3%削減し、最大生成スループットを5.76倍に高めた(saves 42.5% of training costs, reduces the KV cache by 93.3%, and boosts the maximum generation throughput to 5.76 times)」と明記しています。DeepSeek-V3(arXiv:2412.19437)ではKV圧縮次元 d_c=512、RoPE用の分離次元64、注意ヘッド128、per-head 128、61層です。
スパース注意:
- NSA(Native Sparse Attention、arXiv:2502.11089、ACL 2025 Best Paper):DeepSeekによるハードウェア整合・訓練可能なスパース注意。粗粒度の圧縮と細粒度の選択を組み合わせ、64k系列でフルアテンションに対しデコード・前方伝播・逆伝播すべてで大幅な高速化を主張。
- DSA(DeepSeek Sparse Attention):初出はDeepSeek-V3.2-Exp(2025年9月)で、正式版の技術報告がarXiv:2512.02556。軽量な「Lightning Indexer」が関連度上位のKVブロックを選択してから注意計算を行う「retrieve-then-attend」方式で、主注意計算をO(Lk)に低減します(インデクサ自体は軽量なO(L²)スコアリングである点は補足しておきます)。
線形・状態空間ハイブリッド:
- Mamba系を統合したJamba(Lieber et al., arXiv:2403.19887、Mamba:Transformer=7:1)、MiniMax-01(arXiv:2501.08313、Lightning Attention)、Qwen3-Next(Gated DeltaNet)、Kimi Linear(arXiv:2510.26692)。Kimi Linearは KDA(Kimi Delta Attention):MLA を3:1で交互配置し、KVキャッシュを最大75%削減、1Mコンテキストでデコードスループット最大6倍を、48B総パラメータ/3B活性の構成で達成しています。なおMiniMaxは後継のM2(総パラメータ230B・活性約10B)で線形注意をやめて全層フル注意へ戻しており、技術報告で「本番環境でフル注意の品質に確実に並ぶ線形系の変種は見つからなかった」趣旨を述べています。この揺り戻しは重要な傍証です。
KV量子化:
- KIVI(2bit KVキャッシュ量子化、tuning-free、Key はper-channel・Value はper-token量子化)、KVQuant(arXiv:2401.18079、NeurIPS 2024、10Mコンテキストを標榜)。FP8→INT4方向。
層間共有と追い出し(eviction):
- YOCO(You Only Cache Once、Sun et al. 2024):中間層のKVを上位半分の層で共有。CLA(Cross-Layer Attention、Brandon et al., NeurIPS 2024):隣接層のグループでKVを共有(体系的比較は arXiv:2410.14442)。
- H2O(Heavy-Hitter Oracle、NeurIPS 2023):累積注意スコアが高い「重要トークン」を残す。SnapKV(arXiv:2404.14469):プロンプト末尾の観測窓で重要位置を投票的に選択。StreamingLLM(Xiao et al., arXiv:2309.17453):最初の数トークン(attention sink)+直近窓を保持。
3.3 床:正確なlong-context recall
線形状態(固定サイズの再帰状態)だけでは、needle-in-a-haystack系やコピー系の正確な長文脈リコールに弱いことが知られています。現状の実務解は、少数のフルアテンション層をアンカーとして残すことです。Kimi Linearのアブレーションでは3:1(KDA 3層ごとにMLA 1層)が検証パープレキシティ最良(val PPL 5.65)で、純フルアテンションをわずかに上回ります。一方で7:1や15:1と線形側に寄せすぎると劣化するため、少数のフル注意層が品質のアンカーとして働いていることが読み取れます。O(n)成分が細く残る、という理解です。
3.4 ローカル推論への含意
Llama 65B級のMHAでは、128KコンテキストのKVは約340GB必要でした(2.6MB/token × 131,072 ≈ 341GB)。これがMLA+FP8なら、DeepSeek-V3級(35KB/token)で128K × 35KB ≈ 4.5GBに収まります。Apple M5 Max搭載の128GB級ユニファイドメモリでも、KVキャッシュが数GBで済むなら長文脈ローカル推論が現実的になります。
4. MoEの重みをSSDに退避する構想
4.1 原始形と律速
MoEの巨大な重みをSSDに退避し、必要なexpertだけをRAM/VRAMに載せる構想は新しくありません。llama.cppのmmap運用、ktransformersの階層配置、そしてAppleの「LLM in a flash」(arXiv:2312.11514、Keivan Alizadeh, Iman Mirzadeh, Dmitry Belenkoら、Apple)が原始形です。同論文は、パラメータをフラッシュに置き必要時にDRAMへ持ち込むことで「利用可能なDRAMの最大2倍のサイズのモデルを実行でき、素朴なロードに対しCPUで4〜5倍、GPUで20〜25倍の推論高速化を達成する(running models up to twice the size of the available DRAM, with a 4-5x and 20-25x increase in inference speed compared to naive loading approaches in CPU and GPU, respectively)」と主張し、その核心技術として「windowing(直近に活性化したニューロンの再利用でデータ転送量を削減)」と「row-column bundling(フラッシュのシーケンシャルアクセス特性に合わせた読み出し)」を挙げています。
律速は容量ではなく帯域です。前提となるメモリ階層の相場観を先に押さえておきます(数値は2026年時点の桁感の目安で、市況により変動します。DRAM価格は2025〜26年に高騰しており、SSDの$/GBはDRAMの約50分の1という比率を本記事の前提とします)。
| 階層 | 実効帯域の目安 | 典型容量 | $/GBの桁感 |
|---|---|---|---|
| オンチップSRAM | 10TB/s超 | 数百MB(TPU 8iで384MB) | 別次元(ダイ面積で決まる) |
| HBM3E | 1〜8TB/s | 数十〜百数十GB/パッケージ | 10 USD/GB超(推定) |
| DDR5 / ユニファイドメモリ | 100〜500GB/s | 100GB級 | 数USD/GB |
| PCIe 5.0 NVMe SSD | 約14GB/s | TB級 | 0.05〜0.1 USD/GB |
ここで算数をします。
4.2 帯域の算数(DeepSeek-V3級、Q4)
DeepSeek-V3の細粒度expertは、FFN中間次元2048・隠れ次元7168なので、gate/up/downで約 3×7168×2048 ≈ 4400万パラメータ。Q4なら約22MBです。
| 項目 | 値 |
|---|---|
| 1 expertのサイズ(Q4) | 約22MB |
| routed expert数 / 層 | 256(+shared 1) |
| MoE層数 | 58(61層中、先頭3層はdense FFN) |
| top-k | 8 |
| 毎トークンのexpert参照回数 | 8 × 58 = 464回 |
| 最悪ケース(キャッシュゼロ)の読み出し | 464 × 22MB ≈ 10.2GB/token |
| PCIe 5.0 NVMe実効帯域 | 約14GB/s |
| 帯域天井 | 10GB ÷ 14GB/s ≈ 1.4 tok/s |
キャッシュゼロだと約1.4 tok/sが天井で、実用になりません。
4.3 本命はキャッシュとプリフェッチ
expertの活性はドメイン内で強く偏るため、キャッシュが効きます。128GB RAMなら671B Q4の全routed expert(約350GB)のうち約3分の1を常駐でき、ヒット率90%なら実効帯域負荷は10分の1に下がり、10 tok/s級に届きます。
図4. スループットはヒット率の関数 14 ÷ (10.2 × (1 − ヒット率)) tok/s で決まります。ナイーブなページング(ヒット率0)では1.4 tok/s、decodeのドメイン偏在でヒット率90%なら13.7 tok/sと、実用ラインを跨げるかどうかはキャッシュ政策そのものが決めます。後述するprefillの弱点(ヒット率が常駐率まで落ちる)もこの曲線上で読めます。
予測プリフェッチの系譜:
- Pre-gated MoE(Hwang et al., ISCA 2024):モデル構造を改変し、前層で次層の必要expertを事前決定してレイヤ単位のプリフェッチを可能にする。
- MoE-Infinity(Xue et al., arXiv:2401.14361):Expert Activation Tracingで系列レベルの予測を行い、activation-awareにoffload。
- Mixtral-offloading(Eliseev & Mazur):LRUキャッシュとスキップベースの予測。ProMoE(arXiv:2410.22134):学習的予測器で高い予測精度(GoodPred)を狙い、レイテンシ志向のエッジ推論を対象とする。
いずれも「次層のexpertを前層の隠れ状態から予測し、SSD読みと計算をオーバーラップする」発想です。
重要な限定:この技はバッチ1のローカル推論でだけ効きます。バッチを積むと、異なるトークンが異なるexpertを選ぶため1ステップで多数のexpertが触られ、疎性が消失します。サーバ側の大バッチ運用には無意味です。また推論は読み込み専用なので、SSDの書き込み寿命問題は生じません。
なお、SSD offloadはエネルギー効率では不利だという指摘もあります(arXiv:2508.06978「SSD Offloading for LLM Mixture-of-Experts Weights Considered Harmful in Energy Efficiency」)。ローカルの単独ユーザーではレイテンシと容量が優先されますが、データセンタ規模では話が変わる点は明記しておきます。
4.4 行き先:重みレベルのRAG
MoEはさらに細粒度化・低活性率化が進んでいます。活性率(活性パラメータ÷総パラメータ)で見ると、Mixtral 8x7Bが約28%(12.9B/46.7B)、DeepSeek-R1が約5.5%(37B/671B)、Llama 4 Maverickが約4.3%(17B/400B)です。なお「routed expertを毎トークン何個使うか」という数え方ではDeepSeek系は256中8で約3%となり値が大きく変わるため、どの分母で語っているかの明示が欠かせません。行き着く先として示唆的なのが、MetaのVincent-Pierre Bergesらによる「Memory Layers at Scale」(arXiv:2412.09764)です。product-key参照によるtrainable key-value lookupで、FLOPを増やさず容量だけを足す層を、最大128Bのメモリパラメータ・1兆トークン事前学習まで実証しました。事実系タスクで顕著な改善を示しています(基礎となるproduct-key手法はarXiv:1907.05242)。fetch単位が22MB(expert丸ごと)から数十KB(memory slot)に落ちれば、SSDは事実上「重みレベルのRAG」になります。SSDの$/GBはDRAMのおよそ50分の1という経済性が、この方向を後押しします。
5. prefillでは全重みが必要か
5.1 原理はNo、実務はほぼYes
decodeは1トークンずつなので疎性が効きますが、prefillはプロンプト全トークンを一括処理するため事情が違います。原理的には、必要なのは「プロンプト全トークンが選んだexpertの和集合」だけなのでNoです。しかし実務的にはほぼYesになります。
top-8/256ルーティングで、あるexpertがNトークンの誰にも選ばれない確率は (1 − 8/256)^N です。検算すると:
| プロンプト長 N | 未起動確率 (1−8/256)^N | 起動expert割合 |
|---|---|---|
| 32 トークン | 0.969^32 ≈ 0.36 | 約64% |
| 150 トークン | 0.969^150 ≈ 0.009 | 約99% |
図5. 32トークンで約64%、150トークンで約99%のexpertが起動します。しかもロードバランス損失(またはV3のauxiliary-loss-free方式)がルーティングを意図的に一様化するため、逃げ場がありません。図中の緑線は後述するチャンク単位ルーティング(仮想)で、飽和が大きく緩むことを示しています。常駐が必須なのは attention・shared expert・dense層の数GBだけで、問題は routed expert 約350GB(V3級Q4)です。
5.2 layer-wise streamingでprefillのTTFT床を出す
prefillはレイヤ単位ストリーミングにできます。あるレイヤのexpertを読む→全トークンをまとめてGEMM→捨てる、を1周するだけなので、重み1周分のシーケンシャル読みに落ちます。コストはプロンプト長にほぼ非依存の固定費です。
| 項目 | 値 |
|---|---|
| routed expert総量(V3級Q4) | 約350GB |
| PCIe 5.0 NVMe実効帯域 | 約14GB/s |
| 重み1周の読み出し | 350GB ÷ 14GB/s ≈ 25秒 |
| RAMキャッシュ100GB分を差引 | (350−100)GB ÷ 14GB/s ≈ 18秒 |
TTFT(最初のトークンまでの時間)の床は約18〜25秒になります。
5.3 本質的な痛みは帯域でなく局所性の消失
ここが核心です。decodeはドメイン偏在のおかげで1/3キャッシュでも90%ヒットしますが、prefillは全expertを均等に触るため、ヒット率≈キャッシュ率(30%)まで落ちます。帯域が同じでも、prefillとdecodeでキャッシュの効き方が構造的に違うのです。両者の非対称性を整理すると次のとおりです。
| 観点 | decode | prefill |
|---|---|---|
| 実行単位 | 1トークンずつ逐次 | 全トークン一括 |
| expertの触り方 | top-8のみ(疎) | 和集合が飽和(ほぼ全expert) |
| キャッシュの効き | ドメイン偏在で高ヒット(1/3常駐で約90%) | ヒット率≈常駐率(約30%) |
| 律速 | ミス時のランダム読み | 重み1周のシーケンシャル読み(固定費) |
| 有効な対策 | 予測プリフェッチ・ホットexpertピン留め | layer-wise streaming・prefix caching・チャンクルーティング |
5.4 実務の緩和策
本命は prefix caching です。システムプロンプトやRAGコーパスの定型部分のKVキャッシュを永続化・再利用します。罠として、素朴な mmap + chunked prefill は、チャンクごとに重みを周回読みしてページキャッシュをスラッシングさせます。
構造的な解はチャンク単位ルーティングです。512トークン塊で同じexpertを使うなら、10Kトークン(=20チャンク、各チャンクがtop-8を独立一様に選ぶ仮定の概算)でも和集合は47%程度で止まります。粒度を粗くするほど (1−k/E)^N の指数が緩むためです。
RAGチャンクのKV再利用では、CacheBlend(arXiv:2405.16444、シカゴ大学を中心にStanford・Microsoft Research・CUHK深圳を含むチーム、EuroSys 2025 Best Paper)が有効です。プレフィックスに限らず事前計算済みKVを再利用し、境界の少数トークン(全体の5〜18%)だけを選択的に再計算することで、フル再計算比でTTFTを2.2〜3.3倍短縮、スループットを2.8〜5倍にしつつ、F1/Rouge-Lの低下を0.02以内に抑えます。
6. ハーネスに知性を持たせる:CPU史の対応表
ここからが本記事の背骨です。推論システム(ハーネス)側にどんどん知性が移っていく様は、CPUマイクロアーキテクチャの歴史そのものです。ISA(命令セット)がモデル本体、マイクロアーキテクチャがハーネスに対応します。
6.1 対応表
| CPUマイクロアーキテクチャ | LLM推論ハーネス | 共通する本質 |
|---|---|---|
| 仮想記憶・ページング | paged KV(PagedAttention) | 断片化を隠し、非連続な物理配置を論理的に連続化 |
| 分岐予測 | expert予測プリフェッチ | 履歴から次のアクセスを当ててストールを隠す |
| 投機実行+検証器 | speculative decoding | 安価な予測を並行実行し、後で検証・棄却 |
| メモ化(キャッシュ) | prefix caching | 同じ計算を二度しない |
| ガベージコレクション | KV compaction / eviction | 使わなくなった領域を回収 |
vLLMのPagedAttention(Kwon et al., SOSP 2023)は、OSの仮想記憶とページングに着想を得てKVキャッシュ断片化をほぼゼロにし、スループットを2〜4倍にしました。まさに「MMUの再発明」です。
6.2 重み側の知性は二層
静的な知性:プロファイルに基づくホットexpertのRAM/VRAMピン留め、温度別の混合精度(ホットはFP8で常駐、コールドはINT3でSSD)。ktransformersが原始形です。
動的な知性:Pre-gated MoEやMoE-Infinityのシーケンス局所性追跡。予測精度は90%級で、ミス時は分岐予測ミスと同様に数msのストールが生じます。
ローカル単独ユーザーの場合、ワークロードが偏在します(例:SystemVerilog/UVM中心のDV作業)。すると実効 working set が全expertの数%に収まり、ハーネスが使用分布を学習すること自体が「追加学習なしのデプロイ時蒸留」として働きます。
6.3 KV側の生態系
- vLLM PagedAttention(SOSP 2023):KV管理の事実上の標準。
- SGLang RadixAttention(arXiv:2312.07104、Zheng et al., NeurIPS 2024):radix木でKVキャッシュのプレフィックスを複数呼び出し間で自動再利用する。既存のエンジンでは処理後にKVキャッシュが破棄されるところを、SGLangは全リクエストのKVキャッシュをradix木内のLRUキャッシュとして保持する。論文要旨は既存推論システム比で最大6.4倍のスループットを主張します(初出のLMSYSブログでは最大5倍、論文本文にはvLLM比5.6倍という点結果もあり)。
- LMCache(arXiv:2510.09665):エンタープライズ規模のKVキャッシュ層。リモートバックエンドoffloadで1.3〜3倍。
- CacheBlend:RAGチャンクKV再利用+境界少数トークン再計算。
- Mooncake(arXiv:2407.00079、Moonshot AI、FAST 2025 Best Paper):KimiのKVキャッシュ中心分散設計。GPUクラスタの遊休CPU・DRAM・SSDを使ったKVキャッシュのdisaggregated poolを構築する。arXiv版は「特定のシミュレーションシナリオで最大525%のスループット増を達成し、実ワークロードではKimiが75%多くのリクエストを処理できるようになった(up to a 525% increase in throughput ... enables Kimi to handle 75% more requests)」と報告。FAST'25査読版では実トレースで実効リクエスト処理能力を59〜498%改善したとしています。
- NVIDIA Dynamo:prefill/decode分離(disaggregation)を第一級市民とする推論オーケストレーション。
128K分のKV約4.5GBはSSDから1秒弱で復元でき、再prefillの18〜25秒より数十倍速いので、セッションKVの永続化はローカルでこそ割が良い、という結論になります。
そして最強のKV管理は「そもそもコンテキストに入れない」判断です。RAG、サブエージェント分離、compactionで文脈自体を絞るのが、あらゆるキャッシュ最適化に勝ります。
6.4 弱点は検証性 ― DVの領分
学習的・確率的なポリシーは再現性が落ち、テールレイテンシの分散とキャッシュ無効化バグが増えます。KVは位置エンコーディング依存で内容アドレス化しにくく(CacheBlendの部分再計算はその妥協点)、キャッシュコヒーレンスと投機の検証は本質的に設計検証(DV)の領分です。ハーネス側に回帰テストとカバレッジの規律を持ち込むべき、というのが著者の専門からの提言です。CPUがコヒーレンスプロトコルの形式検証やアウトオブオーダの検証で膨大な労力を払ってきたのと同じ問題が、推論スタックに立ち現れています。
7. シリコン化:固定機能はもう焼かれ始めた
歴史の通例では、ソフトの技はいずれシリコンに焼かれます。CPUではソフトウェアTLBミスハンドラがハードウェアページウォーカーに置き換わりました。LLM推論でも、2026年にその最初の波が来ました。
7.1 Google TPU 8t / 8i(2026年4月 Cloud Next)
GoogleはTPU史上初めて、2026年4月22日のCloud Nextで学習用と推論用にチップを分化させました。TPU 8t(学習用、コードネームSunfish、Broadcom設計)とTPU 8i(低レイテンシ推論用、コードネームZebrafish、MediaTek設計)です。両者ともHBM3Eを採用しますが、プロセスノードはTSMC N3系とする報道と2nm(外部提供は2027年後半)とする報道が併存しており、本稿執筆時点では未確定です。TPU 8tのスーパーポッドは9,600チップ・2ペタバイトの共有HBMまでスケールし、Ironwood(TPU v7)比で約2.8倍の学習コスト性能を狙うとされます(Google公表値)。
TPU 8iの推論特化設計:
- SRAMを3倍化し384MBに。長文脈推論時のKVキャッシュをオンチップ保持し、HBMへの往復を減らす。
- TPU v4以来のSparseCore(埋め込みルックアップ用)を、Collectives Acceleration Engine(CAE)という固定機能ブロックに置換。自己回帰デコード中のreduction・同期をオフロードし、オンチップ集合通信レイテンシを最大5分の1に削減(Tom's Hardware報道)。1チップに2 TensorCore+1 CAEというchiplet構成とする報道もありますが、この詳細は一次資料未確認です。
- 3D torusに代わるBoardflyトポロジでMoE推論のall-to-allテール遅延を低減。
- Ironwood比で、低レイテンシ条件の大規模MoEにおいてコスト性能を80%改善(Google自己申告)。
なお、これらの性能値はすべてGoogleの自己申告である点に注意してください。Gemini(DeepMind)チームとの共同設計だとJeff Deanが述べたとする報道がありますが、本人の一次ソースは未確認です。AnthropicがClaudeの学習・推論にTPUを大規模採用している点(最大100万TPU規模の契約)は複数の報道で確認できます。
7.2 NVIDIA Rubin + LPX(GTC 2026)
NVIDIA側も同じ収束を示しました。分離の実態を正確に言うと、計算密度の高いprefillはRubin GPUが担い、decode側はさらに分解されて、attentionはRubinに残し、FFN/MoE expert実行を LPX ラック(2025年12月の約200億ドル規模のGroq技術ライセンス契約に由来する Groq 3 LPU、チップあたり約500MBのオンチップSRAM、256 LPU構成)へオフロードするAttention-FFN Disaggregation構成です。NVIDIA Dynamoが両フローをオーケストレーションし、兆パラメータ級LLMでMW当たりスループット最大35倍、収益機会最大10倍を主張します(これもNVIDIAの自己申告)。この構想の学術的な源流は Splitwise(ISCA 2024)と DistServe(OSDI 2024)です。
7.3 何が焼かれ、何が残ったか
重要なのは、今回シリコンに焼かれたのは固定機能(SRAM容量、集合通信)までだということです。学習的な層 ―― expert予測器やKV eviction政策(分岐予測器に相当) ―― はまだソフト側に残っています。次世代でそこに手が入るかどうかが、本命の見所です。
8. 発展段階の見立てと観察ポイント
8.1 CPU史のどこにいるか
CPUマイクロアーキテクチャ史の年表を借りると、LLM推論スタックの現在地が見えます。
| CPU史 | 年 | 内容 |
|---|---|---|
| Tomasuloアルゴリズム | 1967 | IBM System/360 Model 91、動的スケジューリングの原型(論文レベル) |
| POWER1 / RS/6000 | 1990 | 商用のアウトオブオーダ的実行の登場 |
| Pentium(初代) | 1993 | インオーダ・スーパースカラの普及、OoO製品化前夜 |
| Pentium Pro | 1995 | 本格的なアウトオブオーダ実行の製品化 |
| perceptron分岐予測 | 2001 | Jiménez & Lin(HPCA 2001)、後にAMD Zen系の製品で採用 |
基本アイデア(ページング、予測、投機、メモ化)が出揃い、勝つ抽象化が未決という点で、当初の見立ては「1990年前後」でしたが、TPU 8iとRubin/LPXという固定機能のシリコン化がすでに始まったことを踏まえると、むしろ1993年(初代Pentium、OoO製品化前夜)級まで来た、と修正するのが妥当です。「小さな学習器が大きな計算のメモリ階層を運転する」というperceptron分岐予測の前例は、expert予測器の未来を先取りしています(Jiménez & Linのperceptron予測器は、同一ハードウェア予算でより深い履歴の相関を学習でき、後にAMD Zen系のハッシュ化perceptron予測器へと発展しました)。
図6. 上段がCPU史(1967〜2001)、下段がLLM推論スタック(2023〜)です。約35年かけたCPUの進化を、LLM推論は3年ほどで再走しています。破線は「2026年 ≈ 1993年」という現在地の対応を示します。
8.2 次に焼かれる「予測器」の中身
まとめで「次に焼かれるのは予測器」と述べますが、具体的に何が候補なのかをここで整理します。LLM推論の学習型ユニットは4クラスに分けられ、それぞれにCPU史の前例と2026年時点のハード化の兆候があります。
| 予測器 | CPU史の前例 | ソフト実装(現状) | ハード化の兆候(2026年) |
|---|---|---|---|
| 投機デコードのドラフト・検証器 | 分岐予測+投機実行+精密例外 | DeepSeek-V3のMTP(2トークン目の受理率80〜90%、TPS約1.8倍)、EAGLE-3、GLM-5(MTP 3層のパラメータ共有) | TensorRT-LLMがEAGLE/Medusa/ReDrafterをエンジン内部で実行、AWS Neuronのfused speculation、Cerebras・SambaNovaのネイティブ対応 |
| expert活性予測器 | perceptron分岐予測(Jiménez & Lin→AMD Zen) | Pre-gated MoE(ISCA 2024)、MoE-Infinity、ProMoE(学習型2層MLP予測器) | Duplex(MICRO 2024、xPU+Logic-PIM統合でH100比最大2.67倍)、EARTH(ASPLOS 2026、エントロピー認識の投機プリフェッチ) |
| KV重要度・eviction予測器 | 学習型キャッシュ置換: Hawkeye(ISCA 2016)、Glider(MICRO 2019) | H2O、SnapKV、DSAのLightning Indexer(FP8軽量スコアラ) | InstAttention(HPCA 2025、計算型ストレージ内attention)、CXL 3.2メモリ・PIMが受け皿 |
| 重みプリフェッチエンジン | ソフトTLBミスハンドラ→ハードウェアページウォーカー | LLM in a flash、ktransformers、Active-Weight Swapping | GPUDirect Storage、BaM、SK HynixのIMTE(CXLハブでSSDから先読み) |
最初に焼かれるのは投機デコードだと予想します。根拠は3つです。第一に、既に商用推論スタックがネイティブ機能として実装済みで、TensorRT-LLMはドラフト生成・検証・受理判定をエンジン内部で実行しています。ソフトの技として枯れた段階に達しているということです。第二に、MTPヘッドがDeepSeek-V3以降のフロンティア各モデルで標準装備になり、インターフェースが安定しつつあります。第三に、投機デコードは「予測→並列検証→外れたら棄却」という検証可能で決定的な制御構造を持ち、精密例外に相当する巻き戻しの枠組みがCPU由来で確立しているため、ハードウェア境界を切りやすいのです。逆にexpert予測やKV予測は、外れても正しさは壊れず速度が落ちるだけの近似最適化なので、ソフトのままでも許容され、シリコン化の圧力が相対的に弱くなります。
KV側には特に美しい相似があります。CPUの学習型キャッシュ置換Gliderは、オフラインでattention-LSTMに特徴を発見させ、それをハードウェア実装可能な整数SVM(予測器あたり16バイト)へ蒸留する二段構えでした。DSAのLightning Indexerも、インデクサを約1000Bトークン規模で訓練しておき、推論時はReLU+FP8の軽量スコアラとして回す同じ構造です。「オフラインで重い学習、オンラインで軽い予測」という分岐予測器以来の定石が、KVキャッシュ選択で再演されています。
収束形も予想できます。シリコンの設計から量産までは3〜5年かかる一方、モデル構造は年単位で変わるため、完全な固定機能として焼くのはリスクが高い。CPUのperceptron予測器が回路構造だけを固定し重みテーブルをSRAMに置いたように、LLM側も「回路は固定、係数は書き換え可能」な準汎用ユニットに落ち着くはずです。DSAのインデクサが小さなNN+FP8という書き換え可能な形を既に取っているのは、その先取りに見えます。
8.3 具体的な観察ポイント
- PagedAttention(2023)が1年で全エンジンの標準になったスピード感の再現が、どの抽象化で起きるか。
- KVキャッシュフォーマットはエンジン間で非互換であり、Mooncake / LMCache が転送層・保存層を定義しようとしている段階。どれが「標準」になるか。
- ハイパースケーラーの推論チップのブロック図に、「Predictor」「Indexer」「Speculation Engine」といった学習型ブロックが固定機能として明記されるか。CPUのTLB・ハードウェアプリフェッチャ相当の専用回路は、まだ推論チップに存在しません。
- NPUや推論ASICが、投機デコードの動的なtree attentionをグラフ再コンパイルなしにネイティブ実行できるようになるか。静的グラフ実行との相性の悪さが、現在の技術的障壁です。
- DSA系インデクサのアルゴリズムが2世代以上のモデルで不変を保つか。シリコン化の前提となる安定性の証明になります。
9. まとめ
- 2026年のフロンティア級MoE(約2兆)は、量子化・能力密度・推論時計算の3レバーで、システムとして同性能を保ったまま100GB級に収まる射程にあります。閉本知識の床(2bit/パラメータ)は残りますが、RAGとツールで外部化すれば解けます。
- KVキャッシュはMHA→GQA→MLA→ハイブリッド線形で約2桁縮み、671BのMLAモデルが8B級GQAモデルよりKVが小さいという逆転が起きました。ローカル長文脈推論の最大の障害は、もはやKVではなくなりつつあります。
- MoE重みのSSD退避は帯域律速であり、勝負はキャッシュとプリフェッチ、そしてprefillの局所性消失にどう対処するか(prefix caching、チャンク単位ルーティング)に移っています。
- 推論ハーネスに知性が移る様は、CPUの仮想記憶・分岐予測・投機実行・メモ化の歴史の再演です。そして検証性の担保はDVの領分です。
- 2026年、固定機能のシリコン化(TPU 8i CAE、Rubin/LPX分離)が始まりました。学習的な層がいつシリコンに降りてくるかが、次の焦点です。現在地は「1993年」相当です。
半導体関係のエンジニアの目で見ると、LLM推論スタックは今まさに、CPUが1990年代に通った道を猛スピードで再走しています。次にシリコンに焼かれるのは、おそらく予測器です。
参考文献(一次ソース)
- Densing Law of LLMs. Chaojun Xiao et al.(Tsinghua / ModelBest). arXiv:2412.04315. Nature Machine Intelligence, 2025(s42256-025-01137-0)。
- Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws. Zeyuan Allen-Zhu(Meta/FAIR Labs), Yuanzhi Li(MBZUAI). arXiv:2404.05405. ICLR 2025.
- The Era of 1-bit LLMs (BitNet b1.58). Ma et al.(Microsoft Research / UCAS). arXiv:2402.17764.
- BitNet b1.58 2B4T Technical Report. arXiv:2504.12285. 1-bit AI Infra, Part 1.1 (bitnet.cpp). arXiv:2410.16144.
- Pretraining LLMs with NVFP4. NVIDIA. arXiv:2509.25149. NVIDIA「Pushing Intelligence to 4-bit」(NVIDIA Research EAI blog, 2026)。
- DeepSeek-V2. arXiv:2405.04434. DeepSeek-V3 Technical Report. arXiv:2412.19437. DeepSeek-V3.2(DSA). arXiv:2512.02556.
- Native Sparse Attention (NSA). Yuan et al.(DeepSeek). arXiv:2502.11089. ACL 2025 Best Paper.
- Kimi Linear. Moonshot AI. arXiv:2510.26692.
- Jamba. arXiv:2403.19887. MiniMax-01. arXiv:2501.08313. MiniMax M2 技術報告. arXiv:2605.26494.
- KVQuant. arXiv:2401.18079. StreamingLLM. arXiv:2309.17453. SnapKV. arXiv:2404.14469. H2O(NeurIPS 2023)。
- A Systematic Study of Cross-Layer KV Sharing (YOCO / CLA / LCKV). arXiv:2410.14442.
- LLM in a flash. Alizadeh, Mirzadeh, Belenko et al.(Apple). arXiv:2312.11514.
- MoE-Infinity. arXiv:2401.14361. ProMoE. arXiv:2410.22134. Pre-gated MoE. Hwang et al., ISCA 2024.
- Memory Layers at Scale. Berges et al.(Meta FAIR). arXiv:2412.09764. Large Memory Layers with Product Keys. arXiv:1907.05242.
- Efficient Memory Management for LLM Serving with PagedAttention (vLLM). Kwon et al., SOSP 2023.
- SGLang: Efficient Execution of Structured Language Model Programs / RadixAttention. Zheng et al. arXiv:2312.07104. NeurIPS 2024.
- LMCache. arXiv:2510.09665. CacheBlend. arXiv:2405.16444(ACM EuroSys / TOCS)。
- Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving. Qin et al.(Moonshot AI). arXiv:2407.00079. FAST 2025 Best Paper.
- Splitwise(ISCA 2024)/ DistServe(OSDI 2024):prefill/decode分離の学術的源流。
- Dynamic Branch Prediction with Perceptrons. Jiménez & Lin. HPCA 2001.
- Google Cloud「TPU 8t and TPU 8i technical deep dive」(Google Cloud Blog, 2026)。Tom's Hardware, SemiAnalysis, Moor Insights & Strategy等の報道。
- NVIDIA「Inside NVIDIA Groq 3 LPX」(NVIDIA Technical Blog, 2026)。SemiAnalysis「The Rubin CPX Specialized Accelerator & Rack」。
- Welcome to LLMflation. Guido Appenzeller(a16z, 2024年11月)。
- GLM-5.2 モデルカード(Hugging Face: zai-org/GLM-5.2)、SGLang GLM-5.2 cookbook。Kimi K3 Tech Blog(kimi.com/blog/kimi-k3)。Qwen3.8-Max-Preview 発表報道(2026年7月19日、WAIC上海)。