24GB VRAMのGPUで33Bモデルを使うとき、重みをロードできるかだけでは実用性を判断できません。
長い入力をKV cacheに保持できるか、入力後の生成がどれだけ遅くなるか、同時リクエストで個々の応答がどこまで落ちるかを分けて確かめる必要があります。
RTX A5000 24GBで、LLM-jp-4-33B-thinking の非公式GGUF変換版を llama.cpp で測定しました。
結論として、Q4_K_M量子化版は全層GPU offloadで動作した一方、98,304 tokenを指定する構成ではcontextを作成できず、今回成立を確認できた上限は16,384 tokenでした。
16K以下では、512 token入力のprompt processingは944.99 tok/s、context深度0でのtoken generationは28.69 tok/sでした。
16Kを事前投入すると生成は24.57 tok/sまで下がります。
また、4,096 token入力で同時実行数を4にすると、記録された各リクエストのdecode速度中央値は1.49 tok/sでした。
この記事の数値は、このGPU、モデルファイル、llama.cpp のコミット、パッチ、実行オプションに限定された実測値です。
元のBF16モデル、他の量子化形式、別GPUの性能や品質を表すものではありません。
結果の要約
| 観点 | 結果 |
|---|---|
| モデル |
llm-jp-4-33b-thinking-Q4_K_M.gguf、約18.78GiB |
| 実行環境 | RTX A5000 24GiB、全層GPU offload、Flash Attention有効 |
| 実測で成立した最大context | 16,384 token |
| 98,304 token指定 |
llama-bench がcontext作成に失敗 |
| prompt processing | 512 tokenで944.99 tok/s、16,384 tokenで734.28 tok/s |
| token generation | context深度0で28.69 tok/s、16,384 tokenの事前投入後で24.57 tok/s |
| HTTP API | 4,096 token入力・並列4でdecode中央値1.49 tok/s、TTFT中央値10.49秒 |
| 小問チェック | 15問中14問が完全一致。残る1問はコードフェンスを含む出力で、文字列完全一致判定のみ失敗 |
| needleテスト | 4K、8K、12Kの9条件中8条件で一意の文字列を出力 |
ここでいうprompt processingは入力トークンをKV cacheへ取り込む処理、token generationは応答トークンを1個ずつ生成する処理です。
両者を分けて測らないと、長い入力を扱うときの待ち時間を見誤ります。
測定環境
| 項目 | 値 |
|---|---|
| GPU | NVIDIA RTX A5000、24,564MiB |
| CPU | Intel Xeon E5-2698 v4 × 2、80 logical CPUs、NUMA 2 node |
| GPUドライバ | 595.84 |
| ランタイム |
llama.cpp 681c29d36a13be54d317ee147b272da9163dbef3
|
| ビルド | CUDA有効。LLM-jp v4のUnigram tokenizerとbyte fallback用パッチを適用 |
| モデル |
idxx/llm-jp-4-33b-thinking-gguf の llm-jp-4-33b-thinking-Q4_K_M.gguf
|
| モデルファイル | 20,163,749,312 bytes、約18.78GiB |
| モデルハッシュ | 3bc19aec00183f64a895c8c1e45260863947f478e48b3736290fac41f274906f |
| パラメータ数 | 33,219,548,160 |
| GPU offload | -ngl 999 |
| Flash Attention | -fa on |
| CPUスレッド | -t 16 |
| 通常のbatch / ubatch | -b 512 -ub 512 |
llama-server のcontext |
-c 16384 |
使用したGGUFは、元の llm-jp/llm-jp-4-33b-thinking を基にしたコミュニティ変換版です。
配布元は、上流の llama.cpp ではこのモデルのUnigram tokenizerを正しく扱うためのパッチが必要だと案内しています。
この測定でも、配布元の llmjp-b10442.patch を適用したビルドを使いました。
実行コマンドの骨格
性能曲線は llama-bench を使い、保存できた各点について3反復の平均と標準偏差を示します。
./llama-bench \
-m llm-jp-4-33b-thinking-Q4_K_M.gguf \
-ngl 999 -fa on -t 16 -b 512 -ub 512 -r 5 \
-p 128,512,2048,4096,8192,16384,32768,65536,98304 \
-n 0
98Kを含む最初の一括測定は、後半のcontext作成で失敗しました。
途中まで書き出されたJSONを数値集計に使わず、16K以下に限定した再測定結果を採用しています。
HTTP APIの測定には、次の設定で llama-server を起動しました。
./llama-server \
-m llm-jp-4-33b-thinking-Q4_K_M.gguf \
-ngl 999 --flash-attn on -c 16384 \
-b 512 -ub 512 -t 16 \
--host 127.0.0.1 --port 8080
llama-bench の -p、-n、-d は、それぞれ入力token数、生成token数、事前投入するcontext深度を指定します。
利用できるオプションと挙動は、実行した llama.cpp の版に依存します。
98Kを指定するとcontextを作成できなかった
Q4_K_Mの重みファイルだけで約18.78GiBあります。
ここにKV cacheと実行バッファが加わるため、Qwen3.8-27Bを測ったときと同じ -c 98304 の設定はこのモデルでは成立しませんでした。
98Kを含むprompt processing、generation、batch、KV cache型の各測定は、failed to create context with model で終了しました。
32K以上の途中値は残っていないため、「32Kなら動く」とは結論づけません。
16K以下の再測定は終了コード0で完了しました。
したがって、このGPUとQ4_K_M量子化版の組合せで今回確認できた上限は16,384 tokenです。
この上限はモデルの仕様上のcontext長ではありません。
GPUのVRAM、量子化形式、KV cache型、batch、llama.cpp の版、同居プロセスで変わる実行上の上限です。
長い入力ではprompt processingもgenerationも遅くなる
prompt processing
-p <tokens> -n 0 で、入力だけを処理する速度を測りました。
| 入力トークン数 | tok/s |
|---|---|
| 128 | 845.75 ± 46.65 |
| 512 | 944.99 ± 14.90 |
| 2,048 | 921.23 ± 2.33 |
| 4,096 | 883.17 ± 2.70 |
| 8,192 | 823.48 ± 2.52 |
| 16,384 | 734.28 ± 0.60 |
16,384 tokenの入力では、512 token時と比べてprompt processingが約22%低下しました。
734 tok/sでも、16K tokenを取り込むだけで約22秒かかります。
入力が長いRAGやログ解析では、生成速度だけを見ても最初の応答までの待ち時間を説明できません。
context深度を持った状態でのtoken generation
-p 0 -n 128 -d <depth> で、指定の深度までKV cacheを事前投入した後、128 tokenを生成しました。
| 事前投入したcontext | tok/s |
|---|---|
| 0 | 28.69 ± 0.01 |
| 4,096 | 27.42 ± 0.03 |
| 8,192 | 26.45 ± 0.02 |
| 16,384 | 24.57 ± 0.01 |
16Kまでcontextを伸ばすと、生成速度は深度0に対して約14%低下しました。
この環境での「約29 tok/s」は短い入力での値です。
16K入力の直後にも同じ速度で生成できるとは限りません。
同時実行では各リクエストの待ち時間が先に悪化した
llama-server をlocalhostで起動し、/completion へ128 token生成を要求しました。
入力は合成テキストで、temperature 0、ストリーミング有効です。
各条件は単一試行なので、数値は傾向の確認にとどめます。
| 入力目標 | 同時実行 | TTFT中央値 (s) | 各リクエストのdecode中央値 (tok/s) | Aggregate tok/s |
|---|---|---|---|---|
| 512 | 1 | 0.62 | 29.62 | 25.95 |
| 512 | 2 | 0.63 | 24.17 | 43.25 |
| 512 | 4 | 1.83 | 14.71 | 48.52 |
| 2,048 | 1 | 2.52 | 28.53 | 18.32 |
| 2,048 | 2 | 1.04 | 20.20 | 33.79 |
| 2,048 | 4 | 4.82 | 12.23 | 33.30 |
| 4,096 | 1 | 3.35 | 26.46 | 15.68 |
| 4,096 | 2 | 3.30 | 19.12 | 25.16 |
| 4,096 | 4 | 10.49 | 1.49 | 2.04 |
512 tokenの入力では、並列数を4にするとaggregate throughputは増えましたが、各リクエストの生成速度は約15 tok/sまで下がりました。
4,096 token入力では、並列4でaggregate throughputも低下し、各リクエストのdecode速度は約1.5 tok/sでした。
サーバーログには、この条件でKV cacheの空き領域を見つけられず、batchを小さくして再試行する記録が残っています。
複数の長い入力を同時に扱うと、モデルの重みだけでなくKV cacheの占有が制約になります。
TTFTは並列数1から2で短くなった条件もあります。
単一試行ではスロット割り当てやリクエストの重なりを分離できないため、並列数とTTFTの一般的な関係は主張しません。
ただし、この構成で4K入力・並列4を対話用途へそのまま使うのは難しい結果です。
品質チェックは動作確認として使う
temperature 0、seed 42、context 16Kで15件の決定的な小問を実行しました。
算術、論理、日本語、翻訳、指示追従、JSON形式などは14問で期待文字列と一致しました。
残るPythonコード課題は、答えにコードフェンスが含まれていたため、期待文字列 return x * x との完全一致判定でFAILになりました。
コードが実行可能か、モデルが一般的なコーディング能力を持つかは、この判定からは分かりません。
探索的に lm-eval-harness からGSM8Kを5問だけ実行したところ、flexible exact matchは0.8、strict matchは0.6でした。
5問ではモデル間の順位や一般化性能を示せないため、参考値にとどめます。
12Kまでのneedleテスト
4,096、8,192、12,288 tokenの合成文書に一意の文字列をstart、middle、endへ配置しました。
9条件中8条件で、出力中に UNIQUE_NEEDLE_VALUE_739184 が現れました。
12,288 tokenのstart配置だけは不一致でした。
この測定は出力に文字列が含まれるかだけを調べたものです。
回答の説明品質、引用位置、長文QA全体の正答率までは評価していません。
また、16Kを超える長さはこの環境で実行できなかったため、長文対応を主張する材料にはしません。
この構成が向く用途、向かない用途
向く用途
- 日本語の33B thinkingモデルを、16K以下の入力でローカル実行する検証
- 単発または低い同時実行数での要約、抽出、推論の試作
- 想定入力長と同時実行数に対する、性能とKV cache制約の見積もり
そのままでは向かない用途
- 24GiBのGPUで、32K以上のcontextを前提にする構成
- 4K級の入力を複数ユーザーへ低いTTFTと高速なストリーミング応答で返す対話サービス
- 15問の自己作成小問や5問のGSM8Kだけで、汎用的な推論・長文QA能力を保証する評価
まとめ
RTX A5000 24GBでは、Q4_K_M量子化したLLM-jp-4-33B-thinkingを全層GPU offloadで動かし、16,384 tokenまでの性能とAPI同時実行を測定できました。
512 token入力ではprompt processingが約945 tok/s、短いcontextでの生成は約29 tok/sでしたが、16Kの事前投入後は約25 tok/sへ下がります。
今回の構成では98K指定でcontextを作れず、32K以上が成立するかは確認できていません。
4K入力を4件同時に扱うと、各リクエストの生成速度は大きく落ちました。
ローカルLLMの構成は、モデルがVRAMへ載るかではなく、必要な入力長、同時実行数、許容できる待ち時間を先に決めて評価する必要があります。