本記事の執筆には Anthropic の Claude Fable 5 とそのリサーチ機能を使用しています。会話で組み立てた論旨に対して、リサーチ機能で一次情報(arXiv論文・公式ブログ・特許・技術報道)の収集と全数値のファクトチェックを行い、判明した誤りを訂正しています。
はじめに
このシリーズの 2 本目の記事
で、SSD 退避の天井を破る候補として HBF (High Bandwidth Flash) に触れました。
また 3 本目の記事
では、NAND をパッケージに近づける流れを Apple の文脈で扱いました。
当初 HBF はシリーズの登場人物の一人という扱いだったのですが、あらためて調べてみると AI に与える影響がかなり大きそうで、独立した記事にすることにしました。そして調べるうちに、ひとつの仮説に行き着きました。この技術で立場がいちばん大きく変わりうるのは、標準化を主導する SanDisk や SK hynix でも、様子見の NVIDIA でもなく、AMD ではないか？
NVIDIA が推論の容量問題を「システムとネットワーク」で解きにいっているのに対し、HBF はその同じ問題を「パッケージング」の問題に変換して、かなりの部分を程度解決できます。そしてパッケージングは、AMD がいちばん得意な土俵です。
本記事は、この仮説「HBF は AMD の救世主になるのでは？」を軸に HBF を掘り下げます。先に断っておくと、AMD が HBF に言及した一次情報は存在せず、本仮説は状況証拠の積み上げです。しかも執筆の 4 日前 (2026 年 7 月 22 日) に AMD が KV キャッシュ退避のソフトウェア階層 ROCm AMD Infinity Context を発表しており、「AMD には退避層が無い」という単純な空席論は成立しなくなりました。本記事はそれを織り込んだうえで、それでも状況証拠の並びがなかなか良いという話をします。結論は「なりうるが、当確ではない」に留まりますが、判定を更新するための観察ポイントまで含めて整理してみます。
本文の情報は 2026 年 7 月 26 日時点の公開情報に基づきます。HBF はまだ量産前の技術で、性能数値はすべてベンダーの目標値またはシミュレーション値です。本記事では「発表済みの事実」「ロードマップ上の予定」「アナリストや報道の推測」をできるだけ区別して書きます。前 2 編で扱った算数 (帯域と tok/s の関係、V3 級 Q4 で 1 トークンあたり約 10.2GB の重み読み出し、HBF Gen1 一基で天井約 160 tok/s といった試算) は繰り返しませんので、必要に応じて前編をご参照ください。
1. おさらい ― HBF とは何か
HBF は、NAND フラッシュのダイを HBM と同じように TSV (Through-Silicon Via) で積層し、GPU や SoC と同じパッケージ、つまりインターポーザ上に載せる技術です。SanDisk が 2025 年 2 月に発表し、SK hynix と標準化を進めています。ベースになっているのは SanDisk の CBA (CMOS directly Bonded to Array) 技術と BiCS NAND で、ロジック (周辺回路) とセルアレイを別ウェハで製造して貼り合わせる CBA は BiCS8 世代 (報道ベースでは 218 層) から採用されています。16 枚の NAND ダイを TSV で積み、最下層のロジックダイが多数のサブアレイへの並列読み出しをスケジュールすることで、単体では遅い NAND から帯域を絞り出す構造です。個々の NAND ダイのインターフェースは最新の ONFI 6.0 でも 4.8GB/s 程度なので、並列化と積層でここから 3 桁近く引き上げることになります。
図 1 に全体の構造を示します。左の HBM と右の HBF は、TSV 積層でインターポーザに載るという実装形態こそ同じですが、中身のダイが DRAM か NAND かで、容量とレイテンシの性格がまったく異なります。
Gen1 の目標仕様を、HBM4 と並べて再掲します。
| 項目 | HBF Gen1 (目標値) | HBM4 (参考) |
|---|---|---|
| 容量 / スタック | 512GB (256Gb ダイ x 16) | 48GB 程度 |
| 読み出し帯域 / スタック | 1.6TB/s | 1.6TB/s (6.4Gbps 時) |
| 読み出しレイテンシ | 約 10μs | 数十〜100ns |
| 読み出し粒度 | ページ (約 4KB) | 32B |
| 書き換え耐性 | 約 10 万回 | 実質無制限 |
| 実装位置 | パッケージ内 (インターポーザ上) | パッケージ内 |
出典は SanDisk の HBF ファクトシート (2025 年)、SK hynix 系研究者による H3 論文 (IEEE Computer Architecture Letters, 2026 年 2 月, DOI: 10.1109/LCA.2026.3660969)、および Ma & Patterson のサーベイ (arXiv:2601.05047) です。フットプリント、電力プロファイル、積層高さは HBM4 とほぼ同等を狙うとされています。世代ロードマップは次のとおりです。
| 世代 | 読み出し帯域 / スタック | 容量 / スタック | 電力 (Gen1 比) | 状況 |
|---|---|---|---|---|
| Gen1 | 1.6TB/s | 512GB | 1.0 | 顧客サンプル 2026 後半 (予定) |
| Gen2 | 2TB/s 超 | 1TB | 0.8 倍 | ロードマップ |
| Gen3 | 3.2TB/s 超 | 1.5TB | 0.64 倍 | ロードマップ |
押さえておくべき物理的制約は 3 つあります。
1 つ目はレイテンシです。約 10μs という値は HBM の約 100 倍で、これはパッケージングを頑張っても埋まりません。NAND セルの読み出し機構そのものが遅いためです。帯域は HBM4 に並んでも、レイテンシと粒度 (4KB ページ) は NAND のままである、という非対称が HBF の使い方を規定します。
2 つ目は電力です。H3 論文によれば、HBF の消費電力は帯域あたりで見ると HBM 比最大 4 倍とされています。一方で容量あたりでは HBF が大きく有利で、同論文はシステム全体では電力あたり性能 2.69 倍という試算を示しています。前回「問題は容量から帯域とエネルギーへ」と書きましたが、HBF はエネルギーの問題を解決するのではなく、帯域あたりで払うか容量あたりで払うかの選択肢を追加する、と言った方が正確なようです。
Ma & Patterson の整理から電力効率の部分を抜き出すと、この二面性が数字で見えます。
| 方式 (1 ユニット) | 帯域あたり効率 (GBps/W) | 容量あたり効率 (GB/W) |
|---|---|---|
| HBM4 (1 スタック) | 41 | 1 |
| HBF Gen1 (1 スタック) | 20.5 超 | 6.4 超 |
| DDR5-6400 (64GB DIMM) | 4 | 5 |
| LPDDR5-6400 (16GB) | 17 | 5 |
| フラッシュカード (参考) | 0.1 | 82 |
帯域あたりでは HBM の半分、容量あたりでは 6 倍以上。どちらの通貨で電力を払うかを選ぶ表になっています。なお同論文はこの比較表を著者自身が概算値 (ballpark) と断っており、厳密値ではありません。
3 つ目は書き換え耐性で、約 10 万回とされます。学習には使えず、重みが凍結される推論専用の技術です。なお SanDisk は Llama 3.1 405B の重み読み出しについて「容量無制限と仮定した HBM 構成との性能差 2.2% 以内」というシミュレーション結果を掲げていますが、公式ブログの脚注には、これは 8bit 重みの読み出しをカーネル単位で実行するモデル上の比較であり、HBM 容量を無制限と仮定しているため HBF の容量優位は反映していない旨が明記されています。つまり HBF 本来の売りである容量を意図的に脇に置いた条件での数字であり、実機での独立したベンチマークは 2026 年 7 月時点で存在しません。
ここまでの数値を帯域と容量の平面に置いたのが図 2 です。HBF が右上、つまり大容量と高帯域を両立する空白地帯を新設しにいっていること、そしてその代償がレイテンシの色 (μs 級) であることが一目で分かります。Rubin CPX はスタックではなくカード構成の参考値として置いています。
2. タイムライン
発表から現在までの流れを整理します。
| 時期 | 出来事 | 確度 |
|---|---|---|
| 2025 年 2 月 | SanDisk が Western Digital から分社・上場し、直後に HBF コンセプトを発表。初日からスマートフォンでのエッジ推論にも言及 | 確定 |
| 2025 年 8 月 6 日 | SanDisk と SK hynix が HBF 標準化の MOU を締結 | 確定 |
| 2025 年 10 月 | SK hynix が OCP Global Summit で AIN ファミリー (P / B / D) を発表。AIN B が HBF に相当 | 確定 |
| 2026 年 1 月 5 日 | Huang 氏が CES で、ストレージはほぼ手つかずの市場であり世界の AI のワーキングメモリを担うことになる、という趣旨の発言。翌営業日に SanDisk 株が 27% 超上昇 | 確定 |
| 2026 年 2 月 25 日 | Milpitas の SanDisk 本社で標準化キックオフ。OCP 傘下に専用ワークストリームを設置 | 確定 |
| 2026 年 6 月 15 日 | AMD が予測型メモリ階層化技術の MEXT を買収。フラッシュを DRAM のように振る舞わせる技術と AMD 自身が説明 | 確定 |
| 2026 年 7 月 22 日 | AMD が ROCm AMD Infinity Context (KV キャッシュ退避のソフト定義階層) を発表 | 確定 |
| 2026 年後半 | Gen1 の顧客サンプル出荷 | 予定 (SanDisk) |
| 2027 年前半 | HBF を搭載した最初の AI 推論デバイスのサンプル | 予定 (SanDisk) |
| 2027 年後半〜2028 年 | NVIDIA / AMD / Google 製品への HBF 統合をメモリベンダー側が目標としていると報道 | 報道 (TrendForce, 2026 年 1 月) |
| 2030 年頃 | HBF を含む複合メモリソリューションの需要本格化 | 業界予測 (SK hynix / SanDisk / TrendForce) |
注意点として、SanDisk 側は顧客サンプル 2026 年後半・搭載システム 2027 年としていますが、SK hynix 側の評価・商用化はもう少し後ろ倒しの時間軸とする報道もあり (TrendForce 等)、両社の足並みは完全には揃っていないようです。技術発表のスケジュールとしては速い部類ですが、収益として意味を持つのは 2030 年頃というのが両陣営とアナリストのおおむね一致した見方です。この時間軸は、後述する AMD の製品サイクルとの噛み合わせを考えるうえで重要になります。
3. なぜ HBF が検討されることになったのか
背景は 3 つの流れの合流として整理できます。
1 つ目はメモリウォールです。GPU の演算性能はメモリ帯域よりずっと速いペースで伸び続けており、HBM は帯域では追随しているものの、容量とコストと電力が壁になっています。Blackwell B200 で 192GB、Rubin 世代で 288GB と増えてはいますが、1 パッケージに積める HBM スタック数には物理的な限りがあり、HBM 自体が高マージン製品であるため容量単価は下がりません。しかも DRAM のプロセススケーリングは減速しており、対する NAND は 3 次元積層のおかげでおおむね 3 年で容量が倍増するペースを維持しています。前編 1 で見た「$/GB で DRAM の約 50 分の 1」という経済性は、この先さらに開く可能性が高いわけです。
2 つ目は AI 業界の学習から推論へのシフトです。学習は読み書き両方が激しく、書き込みが遅く書き換え耐性の低い NAND には向きません。しかし推論では重みが凍結され、read-mostly になります。書き込みの弱点が問題にならず読み出し帯域だけが要る、というワークロードが世界の計算資源の主役になったことで、NAND を主記憶側に引き上げる話に初めて現実味が出ました。SK hynix のメモリシステム研究責任者も、推論環境では静的な重みや事前計算済みの KV キャッシュのような read-heavy なデータを HBF 層に置き、HBM を高速なスクラッチパッドとして解放できる、という趣旨を述べています。
3 つ目が面白いところで、モデル側のアルゴリズム改善が HBF の構想自体を変えた、という経緯があります。SanDisk のエンジニアは当初、KV キャッシュの読み書きのために HBF と DRAM の混載が必要と考えていました。ところが DeepSeek の MLA によって KV キャッシュが 9 割以上圧縮できると分かり、HBF だけで 4TB の重みを GPU の脇に置く構想へ転じた、と同社 CTO が説明しています (Blocks and Files, 2025 年 2 月 25 日)。前編 1 で KV キャッシュ縮小の歴史 (MHA から GQA、MLA へ) を辿りましたが、あの系譜がソフトウェアの節約術に留まらず、メモリチップの製品企画を直接動かしていたことになります。モデルがメモリ階層に合わせて設計され、メモリ階層がモデルに合わせて設計される。CPU 史の再演というシリーズの見立てどおりの往復が、いままさに起きているようです。
4. プリフェッチと LLM の動作 ― 10μs をどう隠すか
HBF の使い方を決めるのは帯域ではなくレイテンシと粒度です。約 10μs・4KB ページという特性は、アクセスパターンが予測可能かどうかで天国と地獄に分かれます。
図 4 のとおり、HBF の約 10μs は HBM から見ると 2 桁の後退ですが、一般的な NVMe SSD からは 1 桁近い前進で、SSD 退避と HBM の中間にちょうど 1 段を挿す位置取りです。なお XL-Flash の読み出しはこの軸では HBF より速く、この点は第 5 節でもう一度触れます。
dense モデルの重み読み出しは理想的な客です。レイヤーを順番に読むだけなのでアクセス系列は完全に決定的で、次に要るデータは常に分かっています。深いプリフェッチキューを張っておけば 10μs は帯域の陰に完全に隠れます。H3 論文が提案する 40MB 級の SRAM バッファ (LHB) も、この決定性を前提にした設計です。
問題は MoE です。トークンごと・レイヤーごとにルータがエキスパートを動的に選ぶため、どの重みが要るかは直前まで確定しません。4KB 粒度・10μs の階層からのランダムな取り寄せはプリフェッチの効きが悪く、外せばパイプラインが素通しでレイテンシを食らいます。ここまでの対比を表にすると次のようになります。
| 観点 | dense モデル | MoE モデル |
|---|---|---|
| 次に読む重み | 完全に決定的 (レイヤー順) | ルータの出力まで不確定 |
| 実効的な読み出しパターン | 逐次ストリーミング | 4KB ページのランダム読みに近い |
| プリフェッチ | 深いキューで 10μs を隠蔽可能 | 予測器の精度に依存 |
| HBF との相性 | 良い | 予測器しだい |
| 鍵となる技術 | ダブルバッファリング | エキスパート活性予測・投機実行 |
この MoE 側の穴を埋める学術研究は活発で、代表的なアプローチをまとめます。
| 研究 | アプローチ | 報告されている数値 |
|---|---|---|
| Pre-gated MoE (ISCA 2024) | ゲート判定を 1 層前倒しして先読み時間を稼ぐ | アーキテクチャ変更を伴う |
| FATE (arXiv:2502.12224) | 隣接層のゲート入力からエキスパートを予測 | クロス層予測単体で約 78.8%、システム全体の見出し値は 97% 超 |
| SP-MoE (2025) | 投機的デコードと連動したプリフェッチ | 層によって予測精度 70〜90% |
| Speculating Experts (arXiv:2603.19289) | モデル内部表現に将来のルーティングを予測する信号が含まれることを利用 | ルーティング重みが大きいエキスパートほど高ヒット率 |
| ST-MoE (arXiv:2606.15453) | 時空間的なエキスパート予測とハードウェア協調設計 | 多くのケースで予測精度 80% 超、2.5 倍級の高速化を報告 |
| MoE-SpeQ (arXiv:2511.14102) | 小型ドラフトモデルで将来トークンの必要エキスパートを先読み | Phi-MoE で最大 2.34 倍 |
注目したいのは、投機的デコードのドラフトモデルがそのまま重みプリフェッチの予告として機能する、という構図が複数の研究で共通していることです。これは前回記事の図 7 で描いた、投機実行と重み先読みを一本のパイプラインに束ねる構想の学術的な裏づけと言えます。同時に、予測が外れれば投機計算と先読み読み出しの両方が丸損になるという賭けの構図も変わりません。上表の 8 割前後という予測精度は、裏を返せば 2 割前後の確率でこの賭けに負けることを意味します。BuddyMoE 系の測定では重み転送が推論レイテンシの 85〜94% を占めるとされていましたから、HBF 時代の MoE 推論性能は、モデルの FLOPs よりもルーティング予測器の精度で決まる、という奇妙な世界になるかもしれません。
なお SanDisk 自身は、HBF を重み置き場としてだけでなく、長コンテキストで KV キャッシュが HBM から溢れて再計算が発生する問題への回答としても位置づけています (Blocks and Files, 2026 年 1 月 8 日)。prefix cache は書き込み一回・読み出し多数なので、書き換え耐性の低い NAND とも相性が悪くありません。ここは後で AMD の話をするときに効いてくる切り分けです。
5. NVIDIA はこの問題をシステムで解いた
さて、ここからが本題に向かう助走です。推論の容量問題に対して、NVIDIA が何をしているかをまず整理します。
NVIDIA は 2025 年 9 月に Rubin CPX を発表しました。prefill (コンテキスト処理) 専用のアクセラレータで、NVFP4 で 30 PFLOPS、メモリは HBM ではなく GDDR7 を 128GB、NVLink を持たず PCIe Gen6 で接続されます。decode 側の Rubin (HBM4 288GB) と分業する構成で、prefill と decode の分離をソフトウェアの工夫からハードウェア製品の分割へ引き上げた形です。SemiAnalysis は、CPX によって競合他社は再びロードマップの見直しを迫られると評しており、AMD も prefill 専用機への対応を迫られるという見方が出ています。
（なお、今世代では Rubin CPX は見送りになっていますが、コンセプト自体は間違っていない認識です。）
容量問題への答えはさらにその外側にあります。
- Huang 氏は CES 2026 で、ストレージはほぼ手つかずの市場であり、世界の AI のワーキングメモリを担う最大のストレージ市場になるだろう、という趣旨の発言をしています (2026 年 1 月 5 日)
- 2026 年 1 月に ICMSP (Inference Context Memory Storage Platform) を発表し、GTC 2026 (3 月 16 日) で BlueField-4 ベースの STX (リファレンスアーキテクチャ) と CMX (ラックスケール実装) を正式発表しました。HBM でもローカル SSD でもない Ethernet 接続のフラッシュ層を KV キャッシュ専用に一段挟む発想で、NVIDIA はこれを G3.5 層と呼び、トークン毎秒最大 5 倍、エネルギー効率 4〜5 倍 (CES 2026 では 5 倍、GTC 2026 では 4 倍と NVIDIA 自身の表現が揺れています) を主張しています。2026 年後半提供予定で、早期採用に CoreWeave、Oracle、Mistral AI などの名前が挙がっています
- キオクシアは NVIDIA の要請を受けて 1 億 IOPS 級の SSD を 2027 年目標で開発中と報じられています (日本経済新聞発、2025 年 9 月)。GPU あたり 2 台で 2 億 IOPS、PCIe 7.0、GPU 直結の P2P アクセスという構成で、生成 AI ワークロードにおいて HBM を部分的に代替する狙いとされています
役割で整理すると、次のような分業になっています。
| 役割 | 製品 | メモリ | 容量 | 接続 |
|---|---|---|---|---|
| prefill (コンテキスト処理) | Rubin CPX | GDDR7 | 128GB | PCIe Gen6 (NVLink なし) |
| decode (トークン生成) | Rubin | HBM4 | 288GB | NVLink |
| KV キャッシュ退避 | CMX (BlueField-4) | eSSD 群 (G3.5 層) | ラック級 | Ethernet |
| 重みの大容量パッケージ内常駐 | 該当製品なし | ― | ― | ― |
一方で HBF に対する NVIDIA の態度については、公式な表明が見当たりません。アナリストの Jukan 氏は 2026 年 4 月、NVIDIA は依然として HBF に関心がないように見える、HBF の帯域は eSSD で十分対応できるというのが同社の見方だ、と観測しています。また Google が HBF の主要顧客になるとの噂も報じられています。複数の専門メディアも NVIDIA が HBF への関心を公に示していない点は一般論として指摘していますが、「関心がない」という評価自体は非公式の観測であり、確定情報ではない点に注意してください。次々世代の Feynman (2028 年予定) について公式に示唆されているのは、カスタム HBM、3D 積層、LP40 メモリ、BlueField-5 といったキーワードまでで、HBF 採用を裏づける一次ソースは見つかりませんでした。
工学的な対比としては、NVIDIA の CMX は「HBM から溢れたものを速く拾う」解であり、HBF は「そもそも溢れにくいパッケージを作る」解です。そして NVIDIA の解は、BlueField、ConnectX、Ethernet ファブリック、DOCA のソフトウェア群と、買収と内製で 10 年かけて積み上げた資産を総動員するシステム屋の答えになっています。ここで盤面の全選択肢を並べておきます。
| 候補 | 実装位置 | 帯域の目安 | レイテンシの目安 | 容量の目安 | 時期 | 位置づけ |
|---|---|---|---|---|---|---|
| HBF Gen1 | パッケージ内 | 1.6TB/s / スタック | 約 10μs | 512GB / スタック | サンプル 2026 後半 (予定) | 重み置き場の本命候補 |
| HBM4 (参考) | パッケージ内 | 1.6TB/s / スタック | 100ns 級 | 48GB / スタック | 2026 量産 | 高速だが容量とコストが壁 |
| キオクシア高 IOPS SSD (XL-Flash) | PCIe 直結 (P2P) | PCIe 7.0 x4 で 50GB/s 級 | 読み出し 3〜5μs | 25.6TB 級 | 1000 万 IOPS 品 2026 サンプル、1 億 IOPS は 2027 目標 | 細粒度ランダム読みで KV や重みの一部を狙う |
| NVIDIA CMX (Storage-Next) | ラック内 Ethernet 接続 | ストレージ帯域 200GB/s 級 | SSD 級 | ラック級 | 2026 後半提供 (予定) | KV キャッシュ退避の G3.5 層 |
| PCIe 世代進化の順当路線 | マザーボード上 | x4 で 14 → 28 → 56GB/s (Gen5 → 6 → 7) | 数十μs | TB 級 | Gen6 SSD は 2027 頃〜 | 3 年で 2 倍の漸進 |
| CXL 3.2 メモリ拡張 | パッケージ外 | リンク律速で数十GB/s 級 | 数百ns〜 | TB 級 | Samsung CMM-D 3.0 が 2026 年末量産予定と報道 | 容量側の対抗。帯域で桁が足りない |
| Samsung HBM-PIM / PNM | パッケージ内 | 演算をメモリ側へ | ns 級 | HBM 級 | 研究段階 | データ移動そのものを減らす方向 |
| SK hynix IMTE | HBM/DDR と SSD の間 | CXL ベース | 中間 | マルチ TB | 学会発表段階 | 推論効率 +35.7% を主張 |
分業表の最下段、重みの大容量パッケージ内常駐だけが空席です。NVIDIA はこの席を eSSD 側から埋めにいく構えで、HBF はパッケージ内から埋める提案です。そして本記事の仮説は、この席がいちばん欲しいのは、実は AMD ではないか、というものです。
6. 本題 ― HBF は AMD の救世主になるか？
現在の推論メモリ階層の設計思想を整理すると、3 つの派に分かれています。
| 派 | 主導 | フラッシュ / 大容量層の位置 | 重み読み出し帯域の桁 | 強み | 主な弱み・不確実性 |
|---|---|---|---|---|---|
| NAND をインターポーザに載せる | SanDisk / SK hynix (噂では Google) | パッケージ内 | TB/s 級 | 帯域と容量の両立、容量あたり電力 | 量産前、レイテンシ約 10μs、標準化の行方 |
| SSD を GPU に寄せる | NVIDIA / キオクシア | パッケージ外 (PCIe P2P / Ethernet) | 数十〜200GB/s 級 | 既存サプライチェーンで即応可能 | 帯域の桁が 1〜2 つ劣る、電力とレイテンシ |
| HBM 容量で押し切る | AMD (当面) | なし (HBM のみ) | 20TB/s 級 (HBM 直) | レイテンシ最良、実績 | 容量単価、スタック数の物理限界 |
AMD のハードウェアは現在 3 番目の派ですが、後述するとおり 2026 年 7 月に KV 退避のソフト定義階層 (ROCm AMD Infinity Context) を発表しており、正確には「ハードは HBM、退避はソフト定義」という折衷が現在地です。本記事の仮説は、それでも AMD には 1 番目の派へ踏み込む強い動機がある、というものです。順に見ていきます。
AMD の現在地 ― 空いている席
まず NVIDIA の分業表に AMD の現在地を重ねてみます。
| 推論システムの構成要素 | NVIDIA の答え | AMD の現在地 (公開情報の範囲) |
|---|---|---|
| prefill 演算 | Rubin CPX (GDDR7 128GB) | 専用品なし (prefill 専用機への対応を迫られるとの見方あり) |
| decode 帯域と容量 | Rubin (HBM4 288GB) | MI455X (HBM4 432GB / 19.6〜23.3TB/s、両値とも AMD 公式ページに併記)。容量では上 |
| スケールアップ網 | NVLink | UALink / Helios ラック (2025 年 6 月発表) で追走中 |
| KV 退避のストレージ階層 | CMX / G3.5 層 (BlueField-4 + eSSD の専用ハード) | ROCm AMD Infinity Context (2026 年 7 月 22 日発表)。RDMA 対応ストレージを使うソフト定義階層。CMX 相当の専用フラッシュ筐体は無し |
| それを支えるソフトウェア | DOCA Memos / NIXL / Dynamo | ROCm AIC スタック (vLLM + LMCache + NIXL + hipFile)。MI300X/MI350 で提供開始、MI450/Helios 対応は 2026 年 Q4 予定 |
当初のドラフトでは下 2 行を「空席」と書くつもりだったのですが、基準日のわずか 4 日前 (2026 年 7 月 22 日) に AMD が ROCm AMD Infinity Context (以下 AIC) を発表し、状況が変わりました。AIC は RDMA 対応のネットワークストレージを KV キャッシュ (特に prefill 済みデータ) の退避層として使うソフト定義のスタックで、Pensando AI-NIC と組み合わせ、パートナーのストレージ (VAST、Dell、NetApp 等) を受け皿にします。Helios 世代では Pensando Salina 400 DPU が KV 退避をハードで支援する構想も語られています。つまり AMD の答えは、NVIDIA のような専用フラッシュ筐体ではなく、ソフト定義 + DPU + 汎用 RDMA ストレージという形で既に出ています。
それでも残る違いはあります。第一に、AIC の MI450/Helios 対応は発表段階 (Tech Preview 2026 年 9 月、提供 2026 年 Q4 予定、将来予測の免責付き) で、NVIDIA が BlueField、ConnectX、Spectrum、DOCA を 10 年かけて積み上げた垂直統合と同じ厚みにはまだ達していません。第二に、Ethernet/RDMA 経由の退避はどうやってもパッケージ内の帯域・レイテンシには届きません。そして第三に、表のどこにも「重みを大容量でパッケージ内に常駐させる層」はありません。ここが HBF の席です。
図 5 に、ここまでの対照と、この先で説明する仮説をまとめました。左が NVIDIA、中央が AMD の現在地で、AIC により退避層とソフトの行は埋まりつつあり、点線の空席は prefill のみです。右は本記事の仮説で、HBF がパッケージ内に入ると、AIC が受け持つ退避の範囲は「本当に冷たいデータ」へ縮み、ソフトウェアの主戦場もラックのオーケストレーションからパッケージ内のプリフェッチャへ移ります。一方で prefill の空席はそのまま残る点にもご注意ください。
なぜ HBF が AMD に効くのか
HBF の本質は、この容量問題を「システムとネットワークの問題」から「パッケージングの問題」に変換することです。そしてパッケージングは、2022 年の 3D V-Cache 以来、チップレット、MI300 系の 3.5D 実装と、AMD がいちばん得意にしてきた土俵です。状況証拠を並べます。
1 つ目は戦略の連続性です。MI300X が H100 の 80GB に対して 192GB を積んで風穴を開けたように、AMD の対 NVIDIA 差別化は一貫して「メモリ容量」でした。ただし HBM だけでこの路線を続けるのは苦しくなっています。432GB の先はスタック数と段数の物理限界とコストに正面から突き当たるうえ、NVIDIA は Rubin Ultra (2027 年後半予定) で 1TB の HBM4e を掲げており、発表値どおりなら容量のリードは 1 年で逆転されるからです。
図 6 のとおり、MI300X 以来おおむね維持してきた AMD の容量優位は、HBM の段数競争のままでは 2027 年に途切れる見込みです。容量差別化を続けるには HBM とは別の軸が必要で、HBF はこの路線を 8〜16 倍の容量単価効率で 1 桁上へ延長します。第 1 節の図 2 で見た右上の空白地帯は、AMD の差別化戦略の延長線上にちょうど載っています。なお図 6 の 2028 年の棒は、MI600 世代に HBF Gen1 を 2 スタック仮置きした本記事の仮説であり、発表値ではありません。
2 つ目は商流です。SK hynix は HBM と HBF の両方を持つトータルメモリソリューション企業を掲げており、HBF の旗艦となる採用先を必要としています。NVIDIA が HBF に冷淡だという観測 (前節、非公式) が正しいなら、HBM の大口顧客であり、かつ容量差別化を戦略の軸に据える AMD は、SK hynix / SanDisk 陣営にとって最良の相手です。売りたい側と買う動機のある側が、きれいに向かい合っています。なお SanDisk の HBF 技術諮問委員会 (2025 年 7 月発足) には元 AMD の Raja Koduri 氏が名を連ねていますが、同氏は現在 Oxmiq Labs の CEO であり、これは個人資格の参加で AMD としての関与ではありません。
3 つ目は KV キャッシュの切り分けです。第 4 節で見たとおり、HBF が得意なのは重みと prefix cache のような write-once-read-many のデータで、decode 中に毎トークン追記されるホットな KV は HBM に残ります。そのホット側は 432GB という厚い HBM が既に AMD の答えです。そして中間温度の prefix cache を HBF がパッケージ内に抱え込めば、AIC が Ethernet 越しに面倒を見る範囲は「本当に冷たいデータ」に狭まります。ソフト定義の退避層と HBF は競合ではなく相補で、組み合わせると AMD の解は NVIDIA と同型の専用ハード競争ではなく、パッケージ + ソフト定義という別型になります。システムの垂直統合で正面から出し抜くのは難しくても、パッケージングでなら出し抜ける、という構図は AIC の登場後も生きています。
4 つ目は、AMD 自身の最近の動きです。AMD は 2026 年 6 月 15 日に、予測型メモリ階層化技術のスタートアップ MEXT を買収しました。AMD 自身の説明は「フラッシュを DRAM のように振る舞わせる AI 駆動の予測メモリ技術」。第 4 節で見たとおり、HBF に限らずフラッシュをメモリ側へ引き上げるあらゆる構成の急所はプリフェッチャの精度であり、MEXT はまさにその急所に対するソフトウェア側の備えに見えます。買収の狙いが HBF だと AMD が言ったわけではないので推測に留まりますが、AIC (退避のソフト)、Pensando (DPU)、MEXT (予測階層化) と、フラッシュをメモリとして扱うための部品が揃いつつあるのは事実です。あとはパッケージ内のフラッシュ本体、つまり HBF だけが欠けている、という見方もできます。
5 つ目はタイミングです。第 2 節のタイムラインで、HBF 搭載デバイスのサンプルは 2027 年前半、収益本格化は 2030 年頃でした。AMD 側は MI500 が 2027 年ですが、この世代の設計は常識的にはもう凍結しているはずなので、載るとすれば MI600 世代 (2028 年) からになります。これは奇しくも NVIDIA の Feynman (カスタム HBM と 3D 積層でメモリ階層を再設計すると示唆されている世代) と正面からぶつかるタイミングです。両社が同じ年に、それぞれの得意技でメモリ階層を作り直してくる可能性があります。
反論とリスク
仮説に都合の良い材料だけ並べても仕方がないので、逆側も整理します。
| リスク | 内容 |
|---|---|
| 一次情報の不在 | AMD が HBF に言及した公式情報は確認できず、本仮説は状況証拠の推論に留まる (Koduri 氏の諮問委員参加は個人資格) |
| ソフト定義で足りてしまう可能性 | AIC + RDMA ストレージ + MEXT の最適化で実用上十分なら、パッケージ内フラッシュのコストと設計複雑性に見合わない、という判断も普通にありうる |
| HBF 自体が未実証 | 4KB 粒度ランダム時の実効帯域、1kW 級 GPU の隣という熱環境での NAND の挙動、16 段 TSV NAND の歩留まりはすべてサンプル待ち |
| ソフトウェアはタダではない | AIC は退避層のソフトであり、HBF 用のパッケージ内プリフェッチャ、ウェアレベリング、ECC、階層管理は別途必要 |
| 求婚者は AMD だけではない | Google が主要顧客との噂があり、TPU が先に採れば「AMD の救世主」ではなく「ASIC 勢の武器」になる |
| NVIDIA の翻意 | NVIDIA は不採用を宣言したわけではなく、標準化が立てば後から乗る自由がある。その場合 HBF は差別化要因ではなくなる |
| prefill 問題は残る | HBF は容量問題への答えであり、CPX が突きつけた prefill 演算の分業問題には答えない |
特に最後の行は重要で、HBF は AMD の課題の全部を解くわけではありません。それでも、いちばん埋めにくい 2 行 (退避層とそのソフト) の重みを軽くできる点で、他の選択肢より筋が良いと考えています。
判定
現時点の判定は「救世主になりうるが、当確ではない」です。AIC の登場で「無いものを与える救世主」ではなくなりましたが、「ソフト定義の答えを、相手の土俵に乗らずに一段強くする鍵」という意味は残っています。AMD にとって HBF は、NVIDIA の最も得意な土俵 (システムとネットワークの垂直統合) を回避して、自分の最も得意な土俵 (パッケージング) に勝負を持ち込める、数少ない技術です。救世主と呼べるかどうかは、次の条件がどれだけ揃うかで決まると考えます。
- 2026 年後半の Gen1 サンプルで、4KB 粒度・ランダム読み時の実効帯域が公称に近い値で立つこと
- OCP の HBF ワークストリームに AMD (あるいは Broadcom のような ASIC 設計勢) が参加すること
- MI600 世代の発表で、メモリ階層にフラッシュ層が明記されること
- SK hynix の HBM+HBF バンドル供給が、NVIDIA 以外の旗艦デザインウィンとして発表されること
7. データセンターから個人の PC まで下りてくるか
シリーズ 3 本目で、NAND は民生 (スマートフォンや PC) が育てたコモディティであり、降下経路が太い、と書きました。今回の調査はこれを補強する材料と、時期について冷や水を浴びせる材料の両方を持ち帰りました。補強材料としては、SanDisk が 2025 年 2 月の発表初日からスマートフォンでのエッジ推論を用途に挙げていたこと、HBM 開発の先駆者である KAIST の Kim Joung-ho 教授が、2030 年代後半には HBF の需要が HBM を上回る可能性に言及していると報じられていること (報道ベースで一次確認は取れていません) があります。パッケージ内 NAND というアイデア自体は、Apple のような垂直統合 SoC ベンダーが独自方式で先行しうる領域でもあり、M7 世代の考察 (A2 プリフェッチエンジン説) との接続はむしろ強まったと感じます。
冷や水の側は時期です。エッジ・クライアントへの展開は 2020 年代末から 2030 年頃という見方が多く、当面 HBF はデータセンター向けの技術です。NVIDIA の民生・ワークステーション路線 (Spark 系) も LPDDR 続投で、HBF の気配はありません。前回書いた、ローカル LLM に必要なのは個人なのに、供給は払える者 (データセンター) の順に回るという非対称は、HBF でもそのまま再演されそうです。さらに NAND 市況の逼迫が続けば、仮に技術が民生に降りてきても価格が普及を縛る、という条件も変わりません。
| 風向き | 材料 | 確度 |
|---|---|---|
| 追い風 | SanDisk が発表初日からスマホのエッジ推論に言及 | 確定 |
| 追い風 | NAND は民生が育てたコモディティで、量産設備と降下経路が既にある | 構造的 |
| 追い風 | 2030 年代後半に HBF 需要が HBM を上回るとの予測 | 推測 (報道が伝える KAIST Kim 教授の見方) |
| 向かい風 | エッジ展開は 2020 年代末〜2030 年頃という見方が主流 | 業界観測 |
| 向かい風 | NVIDIA の民生路線 (Spark 系) は LPDDR 続投 | 確定 |
| 向かい風 | NAND 市況の逼迫と契約価格の急騰 | 確定 (現況) |
もし本記事の仮説どおり AMD が HBF を採るなら、Radeon や APU という民生への太い降下経路をもう 1 本持つベンダーが HBF 陣営に加わることになります。個人の PC で数百 GB 級の重みをパッケージ内に置ける日が来るとすれば、その経路は Apple の独自方式か、AMD 経由か、のどちらかではないかと想像しています。
8. まとめと観察ポイント
HBF は、シリーズで追ってきた「容量から帯域とエネルギーへ」という問題の移し替えを、パッケージ内で完成させる最有力候補です。そして本記事の仮説は、この技術の恩恵がいちばん大きいのは AMD ではないか、というものでした。NVIDIA は容量問題を専用ハードの垂直統合で解き、AMD は 2026 年 7 月にソフト定義 (ROCm AIC) で答えを出しました。HBF は同じ問題をパッケージングの問題に変換し、そのソフト定義の答えを AMD の最も得意な土俵で一段強くします。MI300X が HBM 容量で開けた風穴を、MI600 世代が HBF でもう一度開けにいく。AIC、Pensando、MEXT と周辺の部品は揃いつつありますが、肝心の HBF について AMD 自身の一次情報はまだゼロです。
判定を更新するための観察ポイントを挙げておきます。
- 2026 年後半の Gen1 サンプルで、公称 1.6TB/s がどこまで実効で出るか。特に 4KB ページ粒度のランダム読み出し時
- OCP の HBF 標準化ワークストリームの参加企業。AMD や Broadcom 等の ASIC 設計勢が名を連ねるか
- MI600 世代 (2028 年見込み) のメモリ構成の発表。フラッシュ層が明記されるか
- SK hynix / SanDisk のデザインウィン発表。HBM+HBF バンドルの最初の旗艦がどこになるか
- NVIDIA が HBF について公式に何かを言うか。採用でも不採用でも、現在の観測ベースの構図が確定情報に変わります
- Feynman (2028 年) の発表で、メモリ階層にフラッシュ層が含まれるか
- ROCm AIC の MI450/Helios 対応 (Tech Preview 2026 年 9 月、提供 2026 年 Q4 予定) の実装進捗と、MEXT 買収技術が製品のどこに現れるか
個人的には、2028 年に AMD のパッケージング (HBF 搭載 MI600) と NVIDIA のシステム (Feynman + CMX 世代) が正面からぶつかる、という絵がいちばん見てみたい未来です。第 4 節で見たとおり、その頃の MoE 推論性能はルーティング予測器の精度で決まっているかもしれません。分岐予測器が IPC を左右した時代の再演を、メモリ階層の側から眺められるのだとしたら、これほど面白いことはないと思っています。
注意事項
- AMD の HBF 採用に関する一次情報は存在しません。本記事の仮説は、公開情報から組み立てた状況証拠に基づく推論です
- ROCm AMD Infinity Context の MI450/Helios 対応は将来予測の免責付きの発表段階であり、発表イコール出荷ではありません。MEXT 買収と HBF を結びつける解釈も本記事の推測です
- HBF の性能数値はすべてベンダー公表の目標値・シミュレーション値で、独立したベンチマークは存在しません (2026 年 7 月 26 日時点)。H3 論文の詳細値 (帯域あたり電力最大 4 倍、LHB 40MB、書き換え耐性約 10 万回) と Ma & Patterson の電力効率表の個別値には、要約・二次報道経由で原典との逐語照合を終えていないものが含まれます
- MI455X のメモリ帯域は AMD 公式ページ内に 23.3TB/s と最大 19.6TB/s が併記されており、本記事は両論併記としています
- NVIDIA の HBF への態度、および Google の採用の噂は、いずれもアナリスト観測・報道ベースの非公式情報です
- SanDisk 株の急騰は主に NAND 市況 (eSSD 価格高騰) によるもので、HBF の収益寄与が本格化するのは 2030 年頃というのが業界・アナリストの大勢の見方です
- NAND 契約価格の急騰と供給逼迫により、時期・価格に関する前提は今後大きく変わる可能性があります
参考文献
- IEEE Spectrum, "The Memory in Your Thumb Drive Could Fix AI's Big Problem", 2026-07-14
- Sandisk, "HBF Fact Sheet" (2025) / ブログ "Scaling the Memory Wall: Behind Sandisk's High Bandwidth Flash for AI Inferencing", 2025-08-06
- Sandisk / SK hynix プレスリリース (HBF 標準化キックオフ、OCP ワークストリーム設置), 2026-02-25
- SK hynix Newsroom, AIN Family 発表 (OCP Global Summit), 2025-10
- H3 論文, IEEE Computer Architecture Letters, 2026-02, DOI: 10.1109/LCA.2026.3660969
- Ma & Patterson, "Challenges and Research Directions for Large Language Model Inference Hardware", arXiv:2601.05047
- Blocks and Files, 2025-02-25 (SanDisk HBF とエッジ推論、MLA の経緯) / 2025-08-07 (MOU) / 2026-01-08 (KV キャッシュ問題) / 2026-02-16 (H3 論文解説)
- 日本経済新聞発の報道 (キオクシアの 1 億 IOPS SSD 開発), 2025-09
- Tom's Hardware, キオクシア高 IOPS SSD (25.6TB, XL-Flash) 発表記事, 2026
- NVIDIA Newsroom, ICMSP 発表 (2026-01) / BlueField-4 STX・CMX 発表 (GTC, 2026-03-16)
- SemiAnalysis, "Another Giant Leap: The Rubin CPX Specialized Accelerator & Rack", 2025-09
- Tom's Hardware, NVIDIA Vera Rubin プラットフォーム詳報 (Rubin Ultra 1TB HBM4e 含む), 2026
- AMD, Advancing AI 2025 (Helios ラック / MI400 シリーズ発表), 2025-06 / Instinct MI400 シリーズ公式製品ページ (432GB HBM4、帯域 23.3TB/s と最大 19.6TB/s を併記), 2026
- AMD ROCm ブログ, "Introducing ROCm AMD Infinity Context", 2026-07-22 / AMD 公式ブログ, MEXT 買収発表, 2026-06-15
- Sandisk, HBF Technical Advisory Board 発足 (BusinessWire), 2025-07-24
- Semiconductor Engineering, "Flash Getting Stacked High-Bandwidth Version", 2026-05-14
- Samsung Semiconductor Newsroom, HBM4E (3.6TB/s) サンプル出荷開始, 2026-05
- TrendForce, 2025-11-11 (Samsung の HBF 検討) / 2026-01-29 (HBF 統合目標の報道) / 2026-02-26 (標準化キックオフ)
- 24/7 Wall St., SanDisk 株の 2026 年上半期パフォーマンス, 2026-06-28
- FATE: arXiv:2502.12224 / Speculative MoE: arXiv:2503.04398 / MoE-SpeQ: arXiv:2511.14102 / Speculating Experts: arXiv:2603.19289 / ST-MoE: arXiv:2606.15453