はじめに

Google DeepMindが2025年5月20日に発表した実験的研究モデル『Gemini Diffusion』は、トークン全体を一度に非自己回帰的に生成し、従来モデルを凌駕する高速性と効率性を実現した。最近、LLM推論への適用が急速に注目を集めている。一方で、多くの大規模言語モデルでは、Transformerアーキテクチャ固有のKVキャッシュ（Key-Value Cache）が推論時の高い計算コストを招く大きな要因となっている。本稿では、Gemini Diffusionの手法を軸に、LLMの推論コストにおけるKVキャッシュの課題を明らかにし、Diffusion Modelが計算資源削減に如何に資するかを論じる。

TransformerベースLLMの推論コストとKVキャッシュの重荷

現在主流のLLMはTransformerアーキテクチャを基盤としている。このモデルが推論時に巨額の計算資源を要する要因の中で、メモリ関連のものは以下の二点です。

モデルの重み（Model Weights）：数十億から数千億に及ぶパラメータは、GPUメモリにロードされる際に膨大なメモリを消費する。例えば、70億パラメータのモデルを半精度（FP16）でロードするだけでも約14GB、1750億パラメータのモデルでは約350GBを要する ¹²³。これはシーケンス長に関わらず、モデルがロードされている限りメモリを占有し続ける。
KVキャッシュ（Key-Value Cache）：Transformerの自己注意機構（Self-Attention Mechanism）は、入力シーケンス内の各トークン間の関連性を学習する。テキスト生成においては通常、自己回帰的（autoregressive）に次トークンを逐次予測する手法を用いる。この際、アテンション層では、入力トークンごとにクエリ（Query）、キー（Key）、バリュー（Value）という3つのベクトルが生成される。あるトークンの次トークンを予測するためには、そのトークンのクエリベクトルと、それ以前の全トークンのキーベクトルとの類似度を計算し、その類似度に基づいてバリューベクトルを重み付け加算する。この計算過程で、過去のトークンから計算されたKeyおよびValueのテンソルをメモリに保持するKVキャッシュを用いる ⁴¹³⁵。KVキャッシュは、各アテンションレイヤー、各アテンションヘッドごとに保持されるため、モデルの層数やヘッド数が増えるほど、またシーケンス長が長くなるほど、そのサイズは増大する。過去の計算結果を再利用することで、特に長いシーケンスを処理する際の計算量を削減し、推論速度を向上させる。しかし、このキャッシュ機構がメモリフットプリントを大幅に増加させる要因ともなっている。

しかし、KVキャッシュはメモリ消費の大きなボトルネックとなる。KVキャッシュのサイズは推論時のシーケンス長（コンテキスト長）に線形比例する上、複数のアテンションヘッドおよび多数のレイヤーで保持されるため、モデル規模拡大に伴いKVキャッシュが占めるメモリは劇的に増大する ⁴¹³⁶。

特に、大規模モデルで数千トークンを超える長文コンテキストを扱う場合、KVキャッシュがGPUメモリ使用量の90%以上を占めることもある ⁴。これによりGPUメモリ制約が厳格化し、高価なハードウェア投資を余儀なくされるか、扱えるコンテキスト長が制限される事態を招く。

Diffusion ModelによるLLM推論の変革

Diffusion Modelは元来、画像生成分野でノイズからデータを段階的に再構築する「逆拡散プロセス」を通じ高品質コンテンツを生成してきた。画像生成分野で勢力を伸ばしてきた、Stable DiffusionやDALL·E 3 もこの方式を採用してきた。近年、この概念をテキスト生成、ひいてはLLMへ応用する研究が活発化している ²⁶。

従来のTransformerモデルが自己回帰的に次トークンを逐次予測するのに対し、Diffusion Modelはデータ全体（本稿ではテキスト全体）をノイズから段階的に洗練する**非自己回帰的（non-autoregressive）**アプローチを採用する ⁷⁸²⁶。

特に、Google DeepMindの実験的研究モデル「Gemini Diffusion」は、トークン全体を一度に生成する特性により、既存モデルと比較して著しく高速なコンテンツ生成を実現すると報告されている ⁷⁸。

Diffusion ModelがKVキャッシュの課題を解消する仕組み

Diffusion Modelの非自己回帰的生成こそ、TransformerベースLLMのKVキャッシュ問題に対する根本的解決策となり得る。

逐次的KVキャッシュが不必要：Diffusion Modelは次トークン予測の度に過去トークン情報をキャッシュする必要を排する。全テキストを一塊としてノイズ除去プロセスで生成・洗練を行うため、Transformerの逐次KVキャッシュは本質的に不要となる ⁷⁸。
長コンテクストへの効果顕著化：KVキャッシュ負荷はモデル規模・シーケンス長増大で支配的となる ⁴³。KVキャッシュ不要化により、大規模LLMの長文コンテキスト処理（長文要約や複雑コード生成等）で劇的なメモリ削減を達成可能である。
GPUリソース効率向上：KVキャッシュ削減はGPUメモリの利用効率を向上させ、同時リクエスト処理数増大や単一GPUでの大モデル実行を実現し、推論コスト低減に資する ⁴。

結論と今後の展望

LLMにおけるDiffusion Model、特に「Gemini Diffusion」のような先端研究は、TransformerベースLLMが抱える推論コスト、特にKVキャッシュ由来のメモリ消費問題に対し、画期的解決策を提示している。

Diffusion Modelの非自己回帰的生成は逐次KVキャッシュを排し、大規模モデル・長文コンテキストにおけるGPUメモリ消費を劇的に削減する可能性を有す。これによりLLM運用コストは低減し、より多くの実務者や開発者が高性能AIを活用し得る未来が開ける。

研究途上の課題は残るものの、Diffusion ModelがLLM推論効率とコストパフォーマンスを根本的に革新し、その普及・応用を加速する日は遠くないと考える。

参考文献