24GB VRAMのGPUで27Bモデルを動かすとき、単に「ロードできた」だけでは実用性を判断できません。
長い入力を与えた後も生成速度を保てるのか、同時リクエストを増やすと待ち時間はどこまで悪化するのか、VRAMにどれだけ余裕が残るのかを確認したくなります。
RTX A5000 24GBで、Qwen3.8-27B のGGUF量子化版を llama.cpp で測定しました。
結論は、98,304 tokenを指定した性能測定とKV cacheの事前投入は実行できたが、VRAMの余裕は約2.8GiBで、生成速度と同時実行時のレイテンシには明確なトレードオフがある、です。
このことは、96K級の長文QAを正確に完了できることまでは意味しません。
この記事の数値は、このGPU、モデルファイル、llama.cpp のコミット、実行オプションに限定された実測値です。
元のBF16モデルや他の量子化形式、別GPUの性能を表すものではありません。
結果の要約
| 観点 | 結果 |
|---|---|
| モデル |
Qwen3.8-27B-UD-Q4_K_M.gguf、約15.32GiB |
| 実行環境 | RTX A5000 24GiB、全層GPU offload、Flash Attention有効 |
| prompt processing | 512 tokenで1,045.37 tok/s、98,304 token指定で665.60 tok/s |
| token generation | context深度0で34.16 tok/s、98,304 tokenの事前投入後で26.21 tok/s |
| 96K時のVRAMピーク | 約21.7GiB |
| HTTP API | 同時実行4ではaggregate throughputが増える場面がある一方、各リクエストのdecode速度は低下。TTFTは単一試行では単調に変化しなかった |
ここでいうprompt processingは入力トークンをKV cacheへ取り込む処理、token generationは応答トークンを1個ずつ生成する処理です。
両者を分けて測らないと、長い入力を扱うときの体感を見誤ります。
測定環境
| 項目 | 値 |
|---|---|
| GPU | NVIDIA RTX A5000、24,564MiB |
| CPU | Intel Xeon E5-2698 v4 × 2、80 logical CPUs、NUMA 2 node |
| GPUドライバ | 595.84 |
| ランタイム |
llama.cpp 681c29d36a13be54d317ee147b272da9163dbef3
|
| ビルド | GGML_CUDA=ON |
| モデル |
unsloth/Qwen3.8-27B-GGUF の Qwen3.8-27B-UD-Q4_K_M.gguf
|
| モデルハッシュ | 322e194ff79741c7baa497c240f677f54b201b0efab44ca8e50f122b39123482 |
| GPU offload | -ngl 999 |
| Flash Attention | -fa on |
| CPUスレッド | -t 16 |
| 通常のbatch / ubatch | -b 512 -ub 512 |
llama-server のcontext |
-c 98304 |
Q4_K_Mの重みファイルだけで約15.32GiBあります。
24GiBに収めるには、重み以外にKV cacheや実行バッファが必要になるため、長いコンテキストでは量子化形式とKV cacheの設定を分けて考える必要があります。
実行コマンドの骨格
性能曲線は llama-bench で5反復しました。
./llama-bench \
-m Qwen3.8-27B-UD-Q4_K_M.gguf \
-ngl 999 -fa on -t 16 -b 512 -ub 512 -r 5 \
-p 128,512,2048,4096,8192,16384,32768,65536,98304 \
-n 0
GPUのVRAM使用量、GPU利用率、消費電力、温度を1秒間隔で記録しました。
長さごとにモデルを読み直すのではなく、同一の測定条件で曲線を取得しています。
HTTP APIの測定には、次の設定で llama-server を起動しました。
./llama-server \
-m Qwen3.8-27B-UD-Q4_K_M.gguf \
-ngl 999 --flash-attn on -c 98304 \
-b 512 -ub 512 -t 16 \
--host 127.0.0.1 --port 8080
llama-bench の -p、-n、-d、-b、-ub、-ctk、-ctv などのオプションは、入力処理・生成・事前投入したcontext深度・batch・KV cache型を指定します。使えるオプションは実行した llama.cpp の版にも依存します。
長い入力では、prompt processingもgenerationも遅くなる
prompt processing
-p <tokens> -n 0 で、入力だけを処理する速度を測りました。
各値は5反復の平均 ± 標準偏差です。
| 入力トークン数 | tok/s |
|---|---|
| 128 | 909.12 ± 56.03 |
| 512 | 1,045.37 ± 21.16 |
| 2,048 | 1,041.11 ± 1.72 |
| 4,096 | 1,020.69 ± 4.26 |
| 8,192 | 973.20 ± 6.96 |
| 16,384 | 923.45 ± 1.82 |
| 32,768 | 857.76 ± 0.33 |
| 65,536 | 751.54 ± 0.40 |
| 98,304 | 665.60 ± 0.27 |
約96K tokenの入力では、512 token時と比べてprompt processingが約36%低下しました。
665.60 tok/sでも、96K tokenを取り込むだけで約2.5分かかります。
長文を一度に渡すRAGやログ解析では、生成のtok/sだけを見ても待ち時間を説明できません。
context深度を持った状態でのtoken generation
-p 0 -n 128 -d <depth> で、指定の深度までKV cacheを事前投入した後、128 token生成しました。
| 事前投入したcontext | tok/s |
|---|---|
| 0 | 34.16 ± 0.03 |
| 4,096 | 33.78 ± 0.06 |
| 16,384 | 32.50 ± 0.07 |
| 32,768 | 30.99 ± 0.07 |
| 65,536 | 28.41 ± 0.05 |
| 98,304 | 26.21 ± 0.05 |
約96Kまでcontextを伸ばすと、生成速度は深度0に対して約23%低下しました。
そのため、この環境の「約34 tok/s」は短い入力での値です。96K入力の直後も同じ速度で生成できるとは扱えません。
24GB VRAMで96K級の性能測定はできるが、余裕は大きくない
GPU資源を1秒間隔で採取したところ、4K系の測定ではVRAMピークが約15.6GiB、96Kのprompt processing・generation・end-to-end測定では約21.7GiBでした。
| 条件 | VRAM peak | GPU利用率peak | 消費電力peak | 温度peak |
|---|---|---|---|---|
| 4K系 | 約15.6GiB | 100% | 約229W | 約64〜84°C |
| 約96K系 | 約21.7GiB | 100% | 約230W | 約82〜84°C |
24GiBに対する残りは約2.8GiBです。
同じGPUで別の推論プロセスを動かす、contextをさらに伸ばす、複数ユーザーを同時に扱う、といった余地は大きくありません。
この結果は、指定した長さのprompt processingとgenerationベンチマークが走ったことを示します。長文QAの精度は後述のとおり別に確認が必要です。
VRAMピークはこの測定の観測値です。GPUドライバ、llama.cpp の版、batch、KV cache型、同居プロセスによって変わります。24GiBのGPUで96Kを使う場合は、上限ぎりぎりの構成として余裕を見て設計します。
同時実行は「全体の処理量」と「個々の待ち時間」を分けて見る
llama-server をlocalhostで起動し、/completion へ128 token生成を要求しました。
入力は合成テキストで、temperature 0、ストリーミング有効です。
各条件は単一試行のため、ここでは傾向の確認にとどめます。
| 入力目標 | 同時実行 | TTFT中央値 (s) | 各リクエストのdecode中央値 (tok/s) | Aggregate tok/s |
|---|---|---|---|---|
| 512 | 1 | 0.81 | 34.55 | 28.39 |
| 512 | 2 | 0.70 | 25.74 | 44.39 |
| 512 | 4 | 2.10 | 16.24 | 50.59 |
| 4,096 | 1 | 4.92 | 33.75 | 14.75 |
| 4,096 | 2 | 2.86 | 20.32 | 25.22 |
| 4,096 | 4 | 8.54 | 9.53 | 22.93 |
| 16,384 | 1 | 18.36 | 31.78 | 5.75 |
| 16,384 | 2 | 11.21 | 15.35 | 9.51 |
| 16,384 | 4 | 24.05 | 2.96 | 6.87 |
短い入力では同時実行4でaggregate throughputが上がりましたが、各リクエストの生成は約16 tok/sまで落ち、TTFTは約2.1秒になりました。
約16Kの入力では、同時実行4でaggregate throughputは1のときより増えた一方、各リクエストの生成速度は約3 tok/s、TTFTは約24秒でした。
TTFTは同時実行1から2で小さくなった条件もあります。この表は各条件が単一試行であり、スロット割り当てやリクエストの重なりの影響を分離できません。
したがって、「同時実行数を増やすほどTTFTが悪化する」とは結論づけず、この構成では同時実行4で個々の応答速度が大きく低下したことを確認結果として扱います。
バッチ処理ならaggregate throughputを優先する判断があります。
一方、対話UIではTTFTと一人あたりの生成速度の方が効くため、同じ設定をそのまま採用すべきではありません。
batchとKV cache型は、速度だけで決めない
4Kと32K入力で、batchを128〜1024、ubatchを128〜512に変えました。
この探索は各組合せ1回の測定です。
| batch / ubatch | 4K tok/s | 32K tok/s |
|---|---|---|
| 128 / 128 | 868.31 | 755.94 |
| 256 / 256 | 910.68 | 813.92 |
| 512 / 512 | 967.40 | 856.57 |
| 1024 / 512 | 968.38 | 857.59 |
この範囲では ubatch=512 が有利で、batch 512と1024の差は小さくなりました。
これは「常に1024が最速」という結論ではありません。VRAM、同時実行、実際の入力長を含めて選びます。
32K prefilled contextでKV cache型も比べました。
| K/V cache型 | prompt processing (tok/s) | generation (tok/s) |
|---|---|---|
| f16 / f16 | 669.87 | 30.92 |
| q8_0 / q8_0 | 658.91 | 27.22 |
| q4_0 / q4_0 | 660.43 | 26.45 |
この測定では、KV cacheを量子化しても速度面で有利とは限りませんでした。
VRAM削減量と出力品質はこの表だけでは評価していないため、長いcontextを優先するためにKV cacheを量子化する場合は、別途品質評価が必要です。
品質チェックは「動作確認」と「能力評価」を分ける
temperature 0、seed 42で15件の決定的な小問を実行し、算術・論理・翻訳・コード・指示追従・JSON形式は15/15で期待値と一致しました。
これは、量子化GGUFとサーバー設定が基本的な入出力を壊していないことを確認するためのチェックです。
モデルの総合的な能力を示す結果ではありません。
探索的に lm-eval-harness からGSM8Kを5問だけ実行したところ、flexible-extract exact matchは1/5でしたが、標準スコアとして扱えるサンプル数ではありません。
また、needle-in-a-haystack形式で約4K、16K、32K、86Kの合成文書に一意の文字列を埋め込みました。
出力中にneedle文字列が現れることはありましたが、64 token上限内に正確な最終回答を返せないケースがありました。
最終回答の完全一致を基準に保守的に判定すると、この12ケースは0/12です。
したがって、この条件では長文QAの正答率を主張せず、長文検索の存在確認と、最終回答の正確さは別に評価する必要があると判断しました。
この構成が向く用途、向かない用途
向く用途
- 長い入力の処理時間とVRAM使用量を見積もる
- 長い入力の事前処理時間を許容できる、バッチ型の要約・抽出を検討する
- 量子化モデルでローカル推論を成立させるための性能・VRAM見積もり
そのままでは向かない用途
- 96K級の入力で、複数ユーザーへ低いTTFTと高速なストリーミング応答を同時に求める対話サービス
- 24GiBのVRAMをほぼ使い切る状態で、他モデルや追加プロセスを併用する構成
- 少数の自己作成問題だけで、汎用的な推論・長文QA能力を保証する評価
まとめ
RTX A5000 24GBでは、Q4_K_M量子化したQwen3.8-27Bを全層GPU offloadで動かし、98,304 tokenを指定したprompt処理・KV cache事前投入・生成の性能測定を実行できました。
ただし、長い入力はprompt processingだけで分単位の待ち時間になり、生成速度も約34 tok/sから約26 tok/sへ下がります。
同時実行4では、GPU全体としての処理量が増えても、一人あたりの生成速度は大きく低下しました。TTFTの傾向は単一試行では判断できません。
また、今回のneedle評価では長文QAの最終回答を正確に完了できなかったため、長いcontextを投入できることと、長文QAに使えることは分けて評価する必要があります。
ローカルLLMの構成は「モデルがVRAMに入るか」ではなく、想定入力長、同時実行数、ユーザーが待てる時間、必要な回答精度を先に決めて評価する必要があります。