本記事の執筆には Anthropic の Claude Fable 5 とそのリサーチ機能を使用しています。会話で組み立てた論旨に対して、リサーチ機能で一次情報(arXiv論文・公式ブログ・技術報道)の収集と全数値のファクトチェックを行い、判明した誤りを訂正しています。
はじめに
以下の記事への自問自答が出発点です。
MoE重みのSSD退避がSSDの高速化で大幅に改善する望みはあるか?
それが進展したら、100GB問題もそれで解決してしまうのでは?
前編は「重みが100GBに縮むのを待つ」「システムが128GBの上で工夫する」という挟撃で答えを出しましたが、もしSSD退避が桁で速くなるなら、そもそも重みをRAMに収める必要がなくなり、問いの前提が崩れます。
結論を先に言うと、答えは半分Yesです。ただし主役は今のSSDではありません。第一に、PCIe越しの従来型NVMe退避は今後も大幅には改善しません(帯域が2倍になっても足りず、エネルギー効率の不利も残ります)。第二に、本命はHBF(High Bandwidth Flash)という別物で、NANDをHBMのように積層してGPU/SoCパッケージ内に同居させる規格です。これが実現すると「PCIe越しに退避する」という問題設定自体が消え、100GB問題は容量の問題から帯域とエネルギーの問題へ書き換わります。第三に、HBFは2026年7月時点で量産前(サンプルは2026年後半予定)であり、当面は既存のSSD退避と併走します。
本記事は2026年7月25日時点の一次情報に基づきます。HBFの数値はすべてベンダー目標値またはシミュレーション値で、独立ベンチマークはまだ存在しません。
1. 前編のおさらい: SSD退避の算数と三つの壁
前編4〜5章の算数を1つの表に圧縮します。前提はDeepSeek-V3級(671B、Q4)です。
| 項目 | 値 |
|---|---|
| 1 expertのサイズ(Q4) | 約22MB |
| 毎トークンのexpert参照 | 8 × 58層 = 464回 |
| 最悪ケース(キャッシュゼロ)の読み出し | 約10.2GB/トークン |
| PCIe 5.0 NVMe実効帯域 | 約14GB/s |
| デコード天井(キャッシュゼロ) | 約1.4 tok/s |
| ヒット率90%(1/3常駐)時 | 約10 tok/s |
| prefill(重み1周350GB)のTTFT床 | 約18〜25秒 |
そして壁は三つありました。帯域の壁(上の表そのもの)、局所性の壁(prefillとバッチで疎性が消える)、エネルギーの壁(SSD退避はトークンあたりエネルギーがHBM比最大約12倍、arXiv:2508.06978)。読者質問は「この三つの壁は崩れるか」と言い換えられます。
2. 従来型SSD退避に、大幅改善は来ない
まず期待を削る側から。PCIe接続のNVMe SSDという枠内では、帯域の壁はゆっくりしか動きません。
PCIe 6.0 SSDは実効約28GB/s(現行の2倍)で、PhisonのコントローラX3(PS5303)がシーケンシャル28GB/s・ランダム680万IOPS(消費約7W、4GB/s/W)を掲げ、評価サンプル2026年12月・量産2027年半ばの計画です。Silicon MotionのSM8466も28GB/s。ただしいずれもエンタープライズ向け先行で、コンシューマ普及は早くて2028〜2029年、業界には2030年以降とする見方(Silicon Motion CEO)もあります。PCIe 7.0は仕様が2025年6月にリリースされたばかりで製品は2028〜2029年、PCIe 8.0の実用は2030年以降と見込まれます(いずれも業界予測)。2倍になっても、キャッシュゼロの天井は1.4→2.7 tok/sにしかなりません。
図1. 縦軸は対数です。PCIe接続のNVMeは3年で2倍という漸進を続ける一方、HBFは同時期に約60倍上のレンジへ跳びます。図中の値はすべて各社の目標・計画値です(PCIe 7.0以降の時期は予測)。
複数NVMeのストライピングも当てになりません。ktransformers系の実測(ubergarmのガイド)では、Gen5 NVMe 4本のRAID-0でも単発と差が出ませんでした。ボトルネックがドライブではなく、Linuxカーネルのページキャッシュを経由するバッファードI/Oにあるためです。ハードを足してもソフトの壁で止まる、という前編6章の教訓の再演です。
Kioxia×NVIDIAの高IOPS SSD(XL-Flash、SLC、読み出しレイテンシ3〜5μs、2026年後半にPCIe 6.0で1000万IOPS、2027年に1億IOPS目標)は面白い部品ですが、効くのは512Bクラスの細粒度ランダム読み、つまりKVキャッシュやmemory layers型のアクセスです。22MB粒度のexpert読み出しはIOPSではなくシーケンシャル帯域で決まるため、MoE退避への直接の恩恵は限定的です。
そしてエネルギーの壁は帯域が増えても残ります。arXiv:2508.06978は「SSDが約10pJ/bit(現状比10倍改善)を達成しない限り、データセンタ規模でのMoE重みSSDオフロードはエネルギー的に不利」という閾値を示しており、PCIe世代更新はこの閾値に届きません。
3. 本命はHBF ― 「SSDの改善」ではなく「階層の再設計」
望みは別の場所にあります。HBF(High Bandwidth Flash)は、NANDダイをHBMのようにTSVで積層し、GPU/SoCと同じパッケージ(インターポーザ)上に載せる新カテゴリです。SanDiskが2025年2月に発表し、2025年8月にSK hynixと標準化MOUを締結、2026年2月にはOCP傘下の専用ワークストリームが立ち上がりました。SK hynixは2025年10月のOCP Global Summitで「AIN Family」を発表し、その帯域型(AIN B)がHBF製品に相当します。Samsungも初期コンセプト設計に着手したと報じられています。
第1世代の仕様目標(SanDiskファクトシート、2025年7月)は次のとおりです。すべてベンダー目標値です。
| 項目 | HBF Gen1 (目標) |
HBM4スタック (参考) |
PCIe 5.0 NVMe (参考) |
|---|---|---|---|
| 読み出し帯域 | 1.6TB/s | 約1.6TB/s | 約14GB/s |
| 容量/スタック | 512GB(256Gb×16ダイ) | 48GB | TB級(ドライブ単位) |
| 実装位置 | パッケージ内 (インターポーザ) |
パッケージ内 | マザーボード上 |
| 読み出し粒度 | ページ(約4KB) | 32B | ブロック |
| 書き換え耐性 | 低 (数千〜10万回、製品差大) |
高 | 中 |
| レイテンシ | 数十μs級 | 数十〜数百ns | 数十μs+プロトコル |
つまりHBM級の帯域でHBM比8〜16倍の容量(スタックあたり10倍超)、フットプリントと積層高さはHBM4とほぼ同じ、というのが価値提案です。PCIe 5.0 NVMe(実効約14GB/s)との生の帯域比は約117倍で、SK hynix系の説明でもHBM3E比でPCIe Gen5 SSDは約86倍遅いという桁が示されています。いずれにせよ二桁倍のジャンプです。SanDiskの内部シミュレーションでは、Llama 3.1 405Bの8bit重み読み出しで「容量無制限と仮定したHBM構成との性能差2.2%以内」と主張しています(容量優位は反映しない条件付きの値)。ロードマップはGen2で2TB/s超・1TB/スタック、Gen3で3.2TB/s超・1.5TB/スタック、電力はGen1比0.8倍・0.64倍。サンプルは2026年後半、HBF搭載の推論デバイスのサンプルは2027年前半という当初計画が、2026年7月時点で維持されています(なおSK hynix側は2026年第1四半期に試作版という別報道もあり、両社のタイミングは完全には揃っていません)。
重要なのは、これが「SSDが速くなる」話ではないことです。ストレージとメモリの境界は、突き詰めればバスの位置で決まってきました。HBFは重みをPCIeの向こう側からインターポーザのこちら側へ引っ越しさせる、階層そのものの再設計です。
図2. 前編の式(実効帯域 ÷ 10.2GB/token)の帯域だけを差し替えた天井値です。PCIe世代更新では実用ラインに届かず、HBFで初めて桁が変わります。ヒット率90%を掛ければ各値は約10倍になりますが、HBF級ではそもそもキャッシュ階層が不要になります。
4. H³ ― HBM+HBFハイブリッドという設計解
HBFを実際にどう使うかの設計解も出ています。SK hynixがIEEE Computer Architecture Letters(2026年、Ha, Kim, Kim、DOI:10.1109/LCA.2026.3660969)で発表したH³は、HBMとHBFを同一インターポーザに混載し、統一アドレス空間としてGPUから直接アクセスさせるアーキテクチャです。読み出し専用のデータ(重み、事前計算済みの共有KVキャッシュ)をHBFへ、動的に更新されるデータ(生成中のKVキャッシュ)をHBMへ振り分け、HBMベースダイ内のアドレスデコーダとルータで経路を分けます。NANDのμsレイテンシは、ベースダイ内のレイテンシ隠蔽バッファ(LHB)によるプリフェッチで隠します。
シミュレーション(B200相当+HBM3E×8+HBF×8)では、HBM単独構成に対して電力あたりスループット2.69倍、トークン毎秒は1M系列で1.25倍・10M系列で6.14倍、同時処理バッチは1M系列で2.6倍・10M系列で18.8倍。HBF帯域を半分に落としてもHBM単独を上回るとされます。実機ではなくシミュレーション値ですが、「エネルギーの壁は帯域増強ではなく階層再設計で崩す」という方向を数値で示した点が重要です。
主要な数値を並べておきます(いずれもHBM単独構成比のシミュレーション値)。
| 指標 | 1M系列 | 10M系列 |
|---|---|---|
| トークン毎秒 | 1.25倍 | 6.14倍 |
| 同時処理バッチ | 2.6倍 | 18.8倍 |
| 電力あたりスループット | 2.69倍(全体) | 同左 |
MoE重みとHBFの相性も良好です。推論時の重みは凍結されているので書き換え耐性(数千〜10万回)は問題にならず、expertは22MBとページ粒度(約4KB)より桁違いに大きいので粒度ペナルティもほぼ無視でき、層ごとの計算順は予測可能なのでμsレイテンシはプリフェッチで隠せます。前編8.2で「次に焼かれる予測器」のクラス4に挙げた重みプリフェッチエンジンは、H³ではLHBという形で早くもベースダイに実装されつつあるわけです。なおH³のシミュレーションがNVIDIA Blackwell(B200)構成で組まれている点は示唆的で、Kioxia×NVIDIAの高IOPS SSD協業と併せると、アクセラレータ側の受け入れ準備は米側でも水面下で進んでいると読めます。
5. 算数をやり直す
前編の式に、帯域だけを差し替えます。前提(V3級Q4、10.2GB/token、routed総量約350GB)は前編のままです。
| シナリオ | 実効帯域 | 天井(キャッシュゼロ) | 90%ヒット時 | prefill(重み1周)のTTFT |
|---|---|---|---|---|
| PCIe 5.0 NVMe(現状) | 約14GB/s | 約1.4 tok/s | 約10 tok/s | 約25秒 |
| NVMe×4 ストライピング | 理論4倍/実測ほぼ1倍 | 実質改善なし | 実質改善なし | 実質改善なし |
| PCIe 6.0 NVMe(2027年量産) | 約28GB/s | 約2.7 tok/s | 約20 tok/s級 | 約13秒 |
| HBF Gen1(目標値) | 約1,638GB/s | 約160 tok/s | キャッシュ階層が不要 | 約0.2秒 |
| HBF Gen3(目標値) | 3,200GB/s超 | 約310 tok/s超 | 同上 | 約0.1秒 |
HBF Gen1では、キャッシュゼロでも160 tok/s。つまりヒット率という概念自体が要らなくなり、前編4〜5章で格闘したexpertキャッシュ・予測プリフェッチ・prefillの局所性消失は、この階層ではすべて過去の問題になります。prefillのTTFTは350GB ÷ 1,638GB/s ≈ 0.2秒。前編の18〜25秒から2桁の短縮です。容量面でも、V3級(約350GB)は1スタックに収まらないものの2スタックで、Kimi K3級(2.8T、MXFP4で約1.4TB)でも3スタック(1.5TB)で全expertを常駐できます。TB級の重みを「そのまま手元に置く」道が、原理的には開きます。
なお現在のPCIe退避でも「動く証明」は積み上がっています。iPhone 17 Pro(RAM 12GB)で400B級MoEをSSDストリーミングで走らせるデモ(約0.6 tok/s、TTFT約50秒)や、48GBのApple SiliconでDeepSeek-V4-Flash(総パラメータ284B・活性13BのMoE。リポジトリは〜100B級と表現)をMLXのSSD expertストリーミングで約4.5〜5 tok/sで回す実装が登場しました。速度がSSD帯域で律速される点まで含めて、前編の算数どおりの世界です。
自分で試す読者への注意を三つだけ添えます。第一に、律速はしばしばSSDの生帯域ではなくOSのページキャッシュ(バッファードI/O)側で、O_DIRECTやmmapまわりの設定が効きます(前述のubergarmガイドが実例)。第二に、ストリーミング速度は活性expert数×量子化ビット幅で決まるため2bit量子化は速い一方、ツール呼び出し用のJSONが壊れやすくなる報告があります。第三に、48GB級Macの4.5〜5 tok/sは「読む速度が生成に追いつく」水準で、対話には遅くても、下書き生成やバッチ的な整理には既に実用です。
6. それでも残る制約
崩れる壁と残る壁を区別しておきます。
- 帯域の壁: HBFで崩れます(ベンダー目標値どおりなら)。
- 局所性の壁: prefillは帯域で救われ、バッチ推論の疎性消失もHBF級の広帯域・大容量で緩和されます(Lynx、arXiv:2411.08982が「バッチングはMoEの疎性の約束を壊す」と定式化した構造です)。一方、Oracle-MoE(ICML 2025)やReMoE(expert再利用のルータ調整)、PEER(100万expert)、memory layersといった局所性・粒度側の研究は帯域圧を減らす価値がありますが、prefillとバッチには効かないという前編の指摘は変わりません。
- エネルギーの壁: 形を変えて残ります。HBFは帯域あたり電力(GBps/W)ではHBMに2〜4倍劣り、容量あたり電力(GB/W)で勝つデバイスです。だからこそH³のような「動的データはHBM、読み出し専用はHBF」という振り分けが必要で、電力あたり2.69倍という数字はその設計の成果です。arXiv:2508.06978の「10pJ/bit」閾値は、PCIe SSDではなくHBF系がどこまで接近するかを測る物差しになります。
- レイテンシの床: NANDのμsは消えません。プリフェッチで隠せるのはアクセスが予測可能な範囲であり、予測器の品質が実効性能を決めるという前編8.2の構図は、この階層でも生きています。
三つの壁+αの行方を対照表にしておきます。
| 壁 | 従来型SSD退避(PCIe) | HBF後 |
|---|---|---|
| 帯域 | 世代3年で2倍が上限(28GB/s) | 目標値どおりなら解消(1.6TB/s) |
| 局所性: prefill | TTFTの床が数十秒 | 帯域で解消(約0.2秒) |
| 局所性: バッチ | 疎性消失で悪化 | 広帯域・大容量で緩和 |
| エネルギー | HBM比最大12倍の不利が残存 | 容量あたりで優位、帯域あたりは劣位。HBM/HBF振り分け(H³)が必須 |
| レイテンシ | 数十μs+プロトコル | μsは残存、予測プリフェッチ(LHB)で隠蔽 |
視野を広げると、HBF以外の候補もこの空間を狙っています。
| 候補 | 帯域 | 容量 | 実装位置 | 位置づけ |
|---|---|---|---|---|
| CXLメモリ拡張 | リンク律速(数十GB/s級) | TB級 | パッケージ外 | 容量側の対抗。帯域で桁が足りない |
| 高IOPS SSD(Kioxia×NVIDIA、1億IOPS計画) | PCIe 7.0(〜56GB/s級) | TB級 | 外(GPU直結P2P) | 細粒度アクセス(KV、memory layers)で部分競合 |
| SCM・新不揮発メモリ(XL-Flash、MRAM等) | 中〜高 | 中(密度不足) | 可 | 重み全量を置くには容量が足りない |
| HBF | 1.6TB/s(目標) | 512GB/スタック | パッケージ内 | 帯域×容量×実装位置を同時に満たす現状唯一の候補 |
帯域・容量・実装位置の三条件を同時に満たす候補が今のところHBFしかない、というのがMa & Pattersonの比較表(arXiv:2601.05047)から読める整理です。
まとめると、判定は「100GB問題は容量側デバイスで構造的に解消へ向かうが、制約が容量→帯域→エネルギーへ移る」であり、2026〜2027年は既存SSD退避(エッジ・バッチ1では引き続き唯一の現実解)とHBF(まずデータセンターのオンパッケージ技術)の併走期です。
7. 階層再編というCPU史の続き
前編の背骨に戻すと、これはメモリ階層の「昇格」の歴史の次の一手です。1990年代にL2キャッシュがマザーボード上からオンダイへ昇格し、2010年代にDRAMがDIMMからオンパッケージ(HBM)へ昇格しました。2020年代のHBFは、フラッシュがマザーボード上のM.2からインターポーザへ昇格する話です。前編6章で「paged KVは仮想記憶の再演」と書きましたが、仮想記憶がソフトウェアでディスクをメモリに見せかけたのに対し、HBFはハードウェアでフラッシュをメモリに見せる、その50年越しの物理的解決とも言えます。
図3. 左が現在、右がH³型のHBF後です。重みがPCIeの向こう側からインターポーザのこちら側へ引っ越し、SSDはモデルの置き場(コールド層)に退きます。
ここで一つ、需要の構造を整理しておきます。この技術を一番切実に必要としているのは誰か。前編4.3で「SSD退避はバッチ1のローカル推論でだけ効く」と書きましたが、裏返せばこれは個人の技だということです。データセンターはバッチを積むと疎性が消える代わりに、HBMを枚数で積むという選択肢を持ちます。個人はそうはいきません。つまりHBF的な容量は、個人にとっては存在条件(なければTB級モデルがそもそも動かない)、データセンターにとっては経済条件(HBMでも動くが高くつく)です。切実さの序列は明らかに個人が上。ところが技術は必要な者の順ではなく、払える者の順に届きます。H³の売り文句が長文脈の共有KVキャッシュとバッチ18.8倍というデータセンター文脈で書かれているのは、最初の買い手がそちらだからです。
それでも個人側には構造的な追い風があります。HBMはデータセンター向け高級品のまま民生にはほぼ降りてきませんでしたが、NANDはもともとスマホとPCが育てたコモディティで、民生への降下経路が桁違いに太い。そして何より、この分野を最も執念深く研究してきた当事者はAppleです。LLM in a flash(2023年)でフラッシュからの重みストリーミングを定式化し、2026年にはiPhone 17 Proで400B級MoEを動かすデモまで到達しています。ユニファイドメモリ+オンパッケージ広帯域フラッシュという構成は、Apple Siliconの設計思想(メモリをSoCに寄せる)の自然な延長線上にあります。HBFという規格そのものを採るかは別として、この種の階層をコンシューマ機へ最初に持ち込むのはAppleではないか、というのが筆者の観測です。観察ポイントは、M5 Maxの次の次あたりの世代でメモリ構成に手が入るかどうかです。
もう一つ、供給側の制約も直視しておく必要があります。2025〜2026年はAI起因のメモリ不足の真っ只中で、TrendForceは2026年第1四半期のNAND契約価格見通しを前四半期比33〜38%上昇から55〜60%上昇へ上方修正し、第2四半期は70〜75%上昇を予測しました(第3四半期は+10〜15%へ鈍化見通し)。SK hynixは2025年第3四半期決算で「2026年のHBM・DRAM・NAND生産能力は完売」と明言しています。HBFは、この争奪戦の渦中にあるNANDウェハと同じ供給を奪い合う製品です。つまり技術が立っても、価格と割当が普及の律速になりえます。そして割当の優先順位で個人が最後尾に回るとすれば、それは存在条件と経済条件の非対称がそのまま市場に写像された結果でもあります。
前編7.3で「データセンターで焼かれた固定機能は、数年後の民生SoCの仕様書になります」と書きました。HBFはその次の実例候補です。まずは2027年のデータセンター推論デバイスとして来て、民生へはその数年後というのが標準シナリオですが、上記の理由でこの降下は前例より速い可能性があります。したがってM5 Max 128GBという手元の機械にとっての答えは前編のまま変わりません。モデルが100GBラインへ降りてくるのを2027年後半〜2028年ごろに迎える、が主経路です。ただし挟撃の図に第三の矢が加わりました。モデルが降りる、システムが迎える、に加えて、床そのものが上がる(手元の実効容量がTB級になる)未来が、固有名詞と日付つきで見えてきたということです。次の買い替えサイクルでこの矢が届いていれば、「縮むのを待つ」必要すらなくなります。
コラム: iPhoneで最先端級は動くか ― 律速はpJ/bitへ
この続編の議論をスマホまで延長してみます。実は三つの壁のうち二つは、iPhoneでは既に視界に入っています。まず容量。Kimi K3級はネイティブMXFP4で約1.4TBですが、iPhoneのストレージは既に最大2TBなので、物理的には載ります。次に動作実績。iPhone 17 Pro(RAM 12GB)で400B級MoEをフラッシュストリーミングで動かすデモが2026年に登場し、0.6 tok/s・TTFT約50秒という数字が出ました。このデモの数字から逆算すると、TTFT 50秒 ÷ 重み約200GB(400B・4bit)で実効読み出しは約4GB/s、デコードは4GB/s ÷ 0.6 tok/s ≈ 毎トークン約6.7GBとなり、帯域律速の教科書どおりの挙動です。そして帯域は、本編で見たとおりオンパッケージ化(HBF系)が解きに来ている壁です。
最後に残るのが電力で、スマホではこれが唯一にして最大の壁になります。式は単純で、エネルギー/トークン = 読み出しバイト数 × 8 × (pJ/bit)。arXiv:2508.06978の「SSDは約10倍のエネルギー効率改善(約10pJ/bit)が必要」という指摘を裏返すと、現状のNAND読み出しは約100pJ/bit水準です。代入すると次のようになります。
| 条件 | 読み量/token | pJ/bit | フラッシュ読み の電力(10tok/s時) |
判定 |
|---|---|---|---|---|
| 現状NAND・V3級 | 10.2GB | 約100 | 約82W | 論外 |
| 閾値達成・V3級 | 10.2GB | 10 | 約8.2W | 持続熱設計(4〜6W) をなお超過 |
| 閾値達成+活性率1/3化 | 約3.4GB | 10 | 約2.7W | 射程内 |
ちなみに先のデモの電力を同じ式で見積もると、6.7GB × 100pJ/bit × 0.6 tok/s ≈ 3.2Wとなり、スマホの持続熱設計とちょうど辻褄が合います。0.6 tok/sという数字は、帯域からも電力からも同じ答えが出る、現在地の正確な刻印なのです。
図4. 10tok/s時のフラッシュ読み電力の等高線図です。現在地(約82W)から射程内(約2.7W)へ降りるには、縦(デバイス側のpJ/bit)と横(モデル側の読み量)の掛け算で約2桁を詰める必要があります。赤線が持続熱設計の上限帯です。
つまりスマホの最先端ローカルは、pJ/bit(デバイス側)と読み量/token(モデル側)の積を2桁詰める競争です。デバイス側では、モバイルNANDの低電力化はスマホ産業が30年磨いてきた芸であり、HBFのロードマップ自体がGen3で電力0.64倍を掲げています。モデル側では、前編で見た活性率低下・expert細粒度化・memory layers化がいずれも読み量を数分の1にする方向です。両者の掛け算が2桁を埋めれば、「iPhoneで最先端級を数tok/s」は2020年代末に熱設計の内側へ入ってきます。
利用パターンとの相性も、実は悪くありません。スマホの電池は約50〜70kJで、閾値10pJ/bit・V3級の読み(0.8J/token)なら電池1回分が約6万トークンに相当します。連続生成のマシンとしては無理でも、必要な時にバーストで賢い相棒を呼ぶ使い方なら電力収支は成立する。データセンターがスループットで設計されるのに対し、スマホはセッションで設計される ―― 同じ算数でも設計変数が違う、というのがこのコラムの結論です。
8. まとめと観察ポイント
- PCIe越しの従来型SSD退避は大幅改善しません。PCIe 6.0でも天井は2.7 tok/s、ストライピングはページキャッシュ律速で効かず、エネルギーの不利も残ります。
- 本命はHBFです。HBM級帯域(目標1.6TB/s)×NAND級容量(512GB/スタック)をパッケージ内に置く階層再設計で、前編の算数に代入すると天井160 tok/s・prefill 0.2秒・K3級1.4TBも3スタック常駐と、キャッシュ工学ごと不要になります。
- ただし全数値はベンダー目標値・シミュレーション値で量産前です。制約は容量→帯域→エネルギーへ移り、HBM+HBFの振り分け(H³)と予測プリフェッチ(LHB)が新しい主戦場になります。
- 100GB問題への答えの更新: 「解決してしまう」可能性は本物です。ただしそれはSSDの延長ではなく階層の再編によってであり、手元のマシンに届くのはデータセンターの数年後です。
- スマホまで延長すると、容量と動作実績は既にあり、最後の壁は電力です。pJ/bit(デバイス側)×読み量/token(モデル側)の積を2桁詰める競争で、達成されれば「iPhoneで最先端級を数tok/s」が2020年代末に熱設計の内側へ入ります。
観察ポイント(判定を更新する閾値):
- 2026年後半のHBF初回サンプルで、公称1.6TB/sの何割が実効で出るか。特に22MB粒度・ランダムアクセス時の実効帯域。
- 2027年前半に予告されているHBF搭載推論デバイスの正体(どのGPU/アクセラレータに、HBM:HBFがどの比率で載るか)。
- PCIe 6.0ドライブ量産(2027年半ば)でのMoE退避の実測tok/sと、ページキャッシュ律速(ストライピング無効化問題)の解消。
- arXiv:2508.06978の10pJ/bit閾値に、HBF・XL-Flash系がどこまで接近するか。
前編は「次に焼かれるのは予測器」で締めました。続編の締めはこうなります。次に引っ越すのは重みです。行き先はインターポーザの上、隣にはKVキャッシュを抱えたHBMが座っています。
参考文献(一次ソース)
- Sandisk HBF Fact Sheet(2025年7月)、SanDisk Blog「Scaling the Memory Wall」。HBF発表(2025年2月)。
- SanDisk × SK hynix HBF標準化MOU(2025年8月6日)。OCP傘下HBFワークストリーム キックオフ(2026年2月25日)。SK hynix「AIN Family」(OCP Global Summit 2025年10月)。
- Ha, Kim, Kim(SK hynix). H³: Hybrid Architecture Using High Bandwidth Memory and High Bandwidth Flash for Cost-Efficient LLM Inference. IEEE Computer Architecture Letters, 2026. DOI:10.1109/LCA.2026.3660969. SK hynix Research公式要約。
- Ma & Patterson. Challenges and Research Directions for LLM Inference Hardware. arXiv:2601.05047(HBF/HBM4特性比較表)。
- Kyung, Yun, Ahn. SSD Offloading for LLM Mixture-of-Experts Weights Considered Harmful in Energy Efficiency. arXiv:2508.06978.
- Phison X3(PS5303)PCIe 6.0コントローラ(Computex 2026)。Silicon Motion MonTitan SM8466。PCI-SIG PCIe 7.0仕様リリース(2025年6月11日)。
- TrendForce メモリ価格調査(2026年Q1〜Q3のNAND契約価格見通し)。SK hynix 2025年Q3決算コメント(2026年生産能力完売)。Silicon Motion CEOコメント(クライアント向けPCIe 6.0は2030年以降、Tom's Hardware)。
- Kioxia × NVIDIA 高IOPS SSD計画(XL-Flash、2026〜2027年)。
- ubergarm. ktransformers guide(NVMe RAID-0のページキャッシュ律速の実測)。
- Zhou et al. Oracle-MoE. ICML 2025. ReMoE(Boosting Expert Reuse through Router Fine-Tuning). arXiv:2605.27081(同名のReLUルーティング論文 arXiv:2412.14711・ICLR 2025 とは別)。Xu Owen He. Mixture of A Million Experts(PEER). arXiv:2407.04153. Berges et al. Memory Layers at Scale. arXiv:2412.09764.
- Lynx: Enabling Efficient MoE Inference through Dynamic Batch-Aware Expert Selection. arXiv:2411.08982.
- Alizadeh et al. LLM in a flash. arXiv:2312.11514. Active-Weight Swapping. arXiv:2504.08378. flash-moe(iPhone 17 Proデモ)、deepseek-v4-flash-mlx(48GB Mac、約4.5〜5 tok/s)。