はじめに
フルマネージドなAPIでは意識しづらいものの、自前のGPU（オンプレや固定のクラウドGPU）でLLMを動かす際には、LLMがGPUメモリをどの程度使うかを意識しながら運用する必要があります。
LLMをGPUで推論する際に、どの程度のGPUメモリを使うかを予め計算しておくことで、使うべきGPUの種類や処理できる文字数(トークン数)を把握しておく事ができます。
LLM推論時のGPUメモリ消費量の主要因
LLM推論時のGPUメモリ消費量の支配的な要因は以下の2つです。
- モデルパラメータ
- KV キャッシュ
パラメータによる消費は基本的に固定ですが、KVキャッシュは処理するトークン数に比例して増加します。
モデルパラメータによるGPUメモリ消費量
モデルをGPUメモリにロードした時点で常に占有する領域です。
計算方法
単純で、
総パラメータ数[billions] \times バイト数[bytes] = メモリ消費量 [GB]
になります。
モデルのパラメータは計算のためにすべてGPUメモリに置かれるため、モデルの容量がそのままGPUメモリ消費量になります。コンピュータの文脈ではbillionは $1024^3$ を表し、同様にG(ギガ)も$1024^3$の意味なのでこの式が成り立ちます。
例えば、google/gemma-3-27b-itの場合は総パラメータ数 27 billion (270億)で、数値型はbfloat16です。bfloat16は1つの数値を16ビットを表す形式の1つで、バイト数は2となります。よって、
27 \times 2 = 54 [GB]
となります。この値は、Hugging Faceのgemma-3-27b-itのページに飛んで上の方の54.9 GBという記載ともほぼ一致します。
KVキャッシュとはなにか
Transformerアーキテクチャにおける推論高速化の中核をなすのが、KVキャッシュと呼ばれる機構です。これは各アテンション層で計算されるKey（キー）とValue（バリュー）を一度計算した後に保存し、以降の処理で再利用することで計算量を削減する技術です。
アテンション構造の概要
アテンション層1つあたり、アテンションヘッドを$H$個持ちます。
各アテンションヘッドでは、入力トークン列に対応するベクトル列(または、隠れ状態とも呼ぶ)$X$を入力として、この$X$を線形変換することで得られる新しいベクトル列$Q$, $K$, $V$を生成します。この$K$, $V$が、Key（キー）とValue（バリュー）の実体です。
各アテンションヘッド $ h \in {1, 2, \ldots, H} $において、入力 $X$ から以下のように計算されます：
\begin{align}
h &\in \{1, 2, \ldots, H\} \\
Q_h &= X W_h^Q \\
K_h &= X W_h^K \\
V_h &= X W_h^V
\end{align}
ここで、$X$ のサイズは $ L \times (d_{\text{head}} \cdot H) $ であり、各ヘッドにおける $K_h$ および $V_h$ のサイズは $ L \times d_{\text{head}}$ となります。
- $L$：トークン列長さ
- $d_{\text{head}}$：アテンションヘッドあたりの次元数
トークン列長さ $L$ の増加に伴い、KVキャッシュのサイズも線形に増大します。このため、長文処理においてはGPUメモリの消費量が深刻なボトルネックとなります。
KVキャッシュのメモリ使用量
1つのアテンション層あたりのKVキャッシュの要素数は、以下の式で表されます：
\text{要素数} = 2 \times L \times d_{\text{head}} \times H
- 係数 $2$：KeyとValueの両方を保持するため
- $H$：アテンションヘッドの総数
実際のメモリ使用量（バイト単位）は、データ型の精度に依存します。KVキャッシュ量子化を利用していない限り、モデルのパラメータで使われているデータ型の精度と等しいです。例えば、bfloat16を使用する場合、1要素あたり2バイトが必要です：
\text{アテンション層1つあたりのKVキャッシュ [GB]} = \frac{2 \times L \times d_{\text{head}} \times H \times \text{bytes}}{1024^3}
したがって、モデル全体のKVキャッシュのメモリ使用量は：
\text{全体のKVキャッシュ [GB]} = N \times \frac{2 \times L \times d_{\text{head}} \times H \times \text{bytes}}{1024^3}
このように、KVキャッシュのメモリ消費量はトークン列長さ $L$、ヘッド次元 $d_{\text{head}}$、ヘッド数 $H$、アテンション層の数$N$の積に比例して増加します。
マルチクエリアテンションにおけるKVキャッシュ
標準的なマルチヘッドアテンション（MHA）に対し、推論速度とメモリ効率を改善する手法として、マルチクエリアテンション（Multi-Query Attention, MQA）が提案されました。MQAの特徴は、全アテンションヘッド間でKeyとValueを共有する点にあります。この共有により、保持すべきKeyとValueの数を大幅に削減できます。
アーキテクチャ
MQAでは、全アテンションヘッド間で単一のKeyとValueペアを共有します。各ヘッドは独自のQueryを持ちますが、KeyとValueは1セットのみを計算し、全ヘッドで再利用します：
\begin{align}
h &\in \{1, 2, \ldots, H\} \\
Q_h &= X W_h^Q \quad \text{（ヘッドごとに固有）} \\
K &= X W^K \quad \text{（全ヘッド共有）} \\
V &= X W^V \quad \text{（全ヘッド共有）}
\end{align}
メモリ効率
MQAでは、KeyとValueを1セットのみ保存すれば十分であるため、KVキャッシュの要素数は：
\text{要素数（MQA）} = 2 \times L \times d_{\text{head}}
これは、マルチヘッドアテンションと比較して、KVキャッシュのサイズが $1/H$ に削減されることを意味します。
グループドクエリアテンションにおけるKVキャッシュ
MQAは計算速度とメモリ効率において優れている一方で、モデルの表現力低下による精度劣化という課題があります。この問題に対処するため、MHAの精度とMQAの効率性を両立させる手法として、グループドクエリアテンション（Grouped-Query Attention, GQA）が提案されました。2025年現在、多くのオープンソースLLMがGQAを採用しており、事実上の標準技術となりつつあります。
アーキテクチャ
GQAでは、全ヘッドでKeyとValueを共有するのではなく、アテンションヘッドを $G$ 個のグループに分割し、各グループ内でKeyとValueを共有します：
\begin{align}
g &\in \{1, 2, \ldots, G\} \quad \text{（グループインデックス）} \\
Q_{h_g} &= X W_{h_g}^Q \quad \text{（ヘッドごとに固有）} \\
K_g &= X W_g^K \quad \text{（グループごとに固有）} \\
V_g &= X W_g^V \quad \text{（グループごとに固有）}
\end{align}
メモリ効率
GQAのKVキャッシュの要素数は：
\text{要素数（GQA）} = 2 \times L \times d_{\text{head}} \times G
となります。グループ数 $G$ を調整することで、精度とメモリ効率のトレードオフを柔軟に制御できます。$G = H$ の場合はMHAと等価であり、$G = 1$ の場合はMQAと等価になります。
Qwen3 8Bの場合
Qwen3シリーズのモデルはGQAを採用しています。Qwen3-8Bの場合、アテンションヘッド数$H=32$、グループ数$G=8$、ヘッド次元数$d_{\text{head}}=128$、アテンション層の数$N=36$です。
上記の式を利用して、全体のKVキャッシュを計算してみます。Qwen3の最大コンテキスト長は32,768なので、トークン列長さ$L=32768$としてみます。
\text{全体のKVキャッシュ [GB]} = 36 \times \frac{2 \times 32768 \times 128 \times 8 \times 2}{1024^3} = 4.5 [GB]
Qwen3-8Bモデルのパラメータによる容量は$8B \times 2 = 16[GB]$なので、合わせて最大$16 + 4.5= 20.5[GB]$のGPUメモリを消費することになります。
また、Qwen3シリーズのモデルはYarn設定をオンにすることで、最大コンテキスト長を131,072まで拡張できます。トークン列長さ$L=131072$としてKVキャッシュを再計算してみます。
\text{全体のKVキャッシュ [GB]} = 36 \times \frac{2 \times 131072 \times 128 \times 8 \times 2}{1024^3} = 18 [GB]
KVキャッシュがQwen3-8Bモデルのパラメータによる容量$16 GB$を上回りました。合計$16 + 18 = 34 [GB]$のGPUメモリを消費します。
KVキャッシュ計算サイト
KVキャッシュを自動で計算できる便利なツールも存在します。例えば、LMCache公式サイトでは、以下を入力すると即座に結果が得られます。
- Model:
Qwen/Qwen3-8B - Data Type:
bfloat(BF16) - Number of Tokens:
32768
出力結果:
KV Cache Size: 4.5000 GB
Calculation Details:
Selected Model: Qwen/Qwen3-8B
Hidden Size: 4096
Number of Attention Heads: 32
Number of Hidden Layers: 36
Number of Key-Value Heads: 8
Head Dimension: 128
Data Type Size: 2 bytes
Total Elements: 2 × 36 × 32768 × 8 × 128 = 2415919104
Total Bytes: 2415919104 × 2 = 4831838208 bytes
KV Cache Size: 4831838208 / (1024³) ≈ 4.5000 GB
こちらでも、KVキャッシュが4.5GBであることが確認できました。
終わりに
LLM推論に必要なGPUメモリ量(特に、KVキャッシュ)について解説されている日本語記事が少ないと感じたため、今回記事を作成しました。
本記事が、「どのGPUでどのモデルをどれくらいのトークンまで扱えるか」を考える際の参考になれば幸いです