0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

--cpu-moeは万能じゃない:-ncmoeの最適値は量子化ごとに変わる(RTX 4070 SUPER 実測)

0
Posted at

この記事の位置づけ

@kenimo49 さんの記事

を自分の環境で再現しようとして、結論が違っていたので実測データを共有します。

記事の核心である「MoE のエキスパートを CPU に逃がすと速くなる」という原理は正しく、
自分の環境でも再現しました。ただし「どれだけ逃がすか」の最適値が量子化ごとに全く違い、
記事の勝ち構成(--cpu-moe = 全部 CPU)をそのまま持ち込むと最下位になりました。

「記事が間違っている」という話ではなく、この値は環境依存なので各自で測る必要があるという話です。

この記事の数値について

本記事の数値は、実測データ(CSVとサーバログ)に基づいています。過去の自分の推測と異なった点については、訂正や注意書きを交えて解説します。

なお、本文中で言及する測定ログなどのリポジトリは公開していませんが、検証条件は可能な限り明記しています。

表内の記号は 🔴 が訂正、⚠️ が注意・留保を意味します。

環境

項目 本環境 参考記事
GPU RTX 4070 SUPER (VRAM 12282 MiB) RTX 4070 (12GB)
CPU Ryzen 7 5700X (8C/16T, Zen3) 記載なし
RAM DDR4 32GB DDR5 64GB
OS Windows 11 ネイティブ WSL2 Ubuntu 24.04
llama.cpp b10375 (ba360efe1) 公式プリビルド CUDA 12.4 ソースビルド CUDA 12.9
モデル Qwen3.6-35B-A3B Qwen3.5-35B-A3B

参考記事とは GPU / RAM / OS / CUDA / モデル版の 5 つが同時に違います。
--cpu-moe はエキスパートを CPU 側に置くので RAM 種別は効きそうですが、
5 要因が同時に動いている以上、どれが効いたかは分離できていません(他機での検証もしていません)。

先に結論

-ncmoe の最適値は「モデルが VRAM をどれだけ超えているか」で決まり、量子化ごとに違いました。

量子化 サイズ VRAM(12.0GiB)に対して 最速 -ncmoe 採用した -ncmoe
UD-IQ2_XXS 10.02 GiB ほぼ収まる 2(105.9 tok/s) 6(86.6 tok/s、空き VRAM 優先)
Q4_K_M 19.02 GiB 大幅に超過 24(46.4 tok/s) 24

そして両端(何もしない / 全部 CPU に出す)が遅いという構造は両方に共通でした。

落とし穴:llama-bench に --cpu-moe は無い

最初にハマった点です。

llama-server には --cpu-moe がありますが、llama-bench にはありません。
知らずに渡すと 引数エラーで即停止します(黙って無視されるわけではないので、そこは救われます。
計測結果は 1 行も出ません)。手元の b10375 では
error: invalid parameter for argument: --cpu-moe でした。文言はビルドで変わりえます。

llama-bench では -ncmoe N(N ≧ 層数) を使います。

# NG: llama-bench はこのフラグを持たない(引数エラーで即停止)
llama-bench -m model.gguf -ngl 99 --cpu-moe

# OK
llama-bench -m model.gguf -ngl 99 -ncmoe 99

あと現行ビルドの -fa は on|off|auto 表記が正式です
(自分のスクリプトは全部 on に統一しました。-fa 1 / -fa 0 の旧表記が通るかはビルド依存なので、
--help で確認してください)。

なお本当に静かに失敗するのはこちらです。-ncmoe は dense モデルには効きません。
エラーも警告も出ないので、dense モデルに対して -ncmoe を振ると
同じ構成を N 回測っているだけになります(自分はこれで一度騙されました)。

計測1:llama-bench での総当たり(UD-IQ2_XXS)

llama-bench -r 3 -p 512 -n 128 -o json。以下 tg = token generation(出力の生成速度)、
pp = prompt processing(入力の読み込み速度) です。以下は tg のみ抜粋し、
tg128 の 128 は生成トークン数を表します。
この計測は UD-IQ2_XXS (10.02 GiB) で行っています(Q4_K_M はこの時点で未入手でした)。

構成 フラグ tg128 tok/s
baseline_gpu -ngl 99 131.56 ± 0.25
baseline_all3flags +fa +kv q8_0 +b512 128.33 ± 0.19
ncmoe_12 -ncmoe 12 69.74 ± 0.22
ncmoe_24 -ncmoe 24 47.14 ± 0.78
ncmoe_36 -ncmoe 36 31.55 ± 1.10
cpumoe_all -ncmoe 99 (=--cpu-moe) 29.27 ± 1.64
cpumoe_fa + -fa on 29.28 ± 1.48
cpumoe_fa_kvq8 + -fa +kv q8_0 28.49 ± 1.00
cpumoe_batch512 + -b 512 -ub 512 29.27 ± 1.31
cpumoe_all3flags 全部盛り 29.00 ± 1.78

深いコンテキスト(-d 32768)でも:

構成 tg64 tok/s
deep_baseline 95.36 ± 2.25
deep_cpumoe 28.42 ± 1.57

ここでは --cpu-moe が 4.5 倍「遅い」 という、記事と逆の結果になりました。
3フラグ(flash-attn / KV量子化 / batch 512)も効いていません(128.33 vs 131.56)。

ただしこれは参考記事と同条件の比較ではありません。参考記事は Q4_K_M(約 20 GiB、VRAM に収まらない)
での話で、この計測は VRAM に収まる UD-IQ2_XXS です。前提が違うので、
この節だけを根拠に「記事と逆」とは言えません(Q4_K_M での比較は計測2)。

なぜ逆になったのか

測ったのが 10.02 GiB の UD-IQ2_XXS で、しかも llama-bench は
KV キャッシュを小さくしか確保しないため、モデルがほぼ丸ごと VRAM に載ってしまいます。
そうなると CPU に出す行為は「わざわざ遅いデバイスに仕事を渡す」だけになります。

3フラグが効かないのも同じ理由です。flash-attn も KV 量子化も
VRAM を節約するための施策なので、VRAM が余っている状況では利得がありません。

つまりこの計測は実運用条件を反映していません。

計測2:実運用条件(-c 65536)で測り直す

実際に使うときはコンテキストを長く取るので、KV キャッシュが VRAM を食います。
そこで llama-server を実際に -c 65536 で起動し、API 経由で測定しました。

ウォームアップ 1 回を破棄してから 3 回計測しています(後述)。

Q4_K_M (19.02 GiB)

-ncmoe VRAM 使用 空き VRAM 生成 tok/s
16 11852 MiB 430 MiB 23.42 ± 0.05 🔴
24 11218 MiB 1064 MiB 46.39 ± 1.10 ⭐
32 7764 MiB 4518 MiB 40.55 ± 0.13
40 4306 MiB 7976 MiB 35.63 ± 1.07
48 4306 MiB 7976 MiB 35.16 ± 0.68
99 (=--cpu-moe) 4306 MiB 7976 MiB 35.28 ± 0.49

-ncmoe 40 / 48 / 99 が VRAM も速度も同一なのは、40 層目で全エキスパートを出し切っているためです
(このモデルの block_count は 40)。

UD-IQ2_XXS (10.02 GiB)

-ncmoe VRAM 使用 空き VRAM 生成 tok/s
0 11796 MiB 486 MiB 43.73 ± 0.56 🔴
2 11793 MiB 489 MiB 105.89 ± 2.16
4 11366 MiB 916 MiB 96.36 ± 1.15
6 10938 MiB 1344 MiB 86.64 ± 1.22 ⭐採用
8 10501 MiB 1781 MiB 78.39 ± 0.86
99 (=--cpu-moe) 3578 MiB 8704 MiB 31.38 ± 0.60 🔴

一番面白かった点:VRAM 使用量が同じでも 2.4 倍違う

IQ2_XXS の表をもう一度見てください。

-ncmoe VRAM 使用 空き 生成 tok/s
0 11796 MiB 486 MiB 43.73
2 11793 MiB 489 MiB 105.89

VRAM 使用量はほぼ同じ(差 3 MiB)なのに、速度は 2.4 倍違います。

-ncmoe 0(=素の -ngl 99)は空き VRAM が 486 MiB しかありません。
この状態だとドライバが確保しきれない分を暗黙にホストメモリへ退避し、
毎トークン PCIe 越しにデータを往復させているのだと思われます
(PCIe 転送量までは測っていないので、速度と VRAM 使用量からの推測です)。

明示的に 2 層分だけ CPU に置くと、この暗黙のスピル(= VRAM に入りきらない分が
システムメモリへ追い出され、毎回 PCIe 越しにアクセスしに行く状態)が消えます。

つまり判断基準は「VRAM に入るか」ではなく「余裕を持って入るか」。

まとめ:両端が遅く、中間が最速

両方の量子化を並べると同じ構造が見えます。

IQ2_XXS (10.02 GiB) Q4_K_M (19.02 GiB)
VRAM に対して ほぼ収まる 大幅超過
スピル域(遅い) -ncmoe 0 → 43.7 -ncmoe 16 → 23.4
最速 -ncmoe 2 → 105.9(空き 489 MiB) -ncmoe 24 → 46.4(空き 1064 MiB)
採用 -ncmoe 6 → 86.6(空き 1344 MiB) -ncmoe 24 → 46.4
全部 CPU (--cpu-moe) 31.4 35.3
最速 vs 全部CPU +237% +31%
採用 vs 全部CPU +176% +31%

IQ2 で最速なのは 6 ではなく 2 です(105.9 vs 86.6、差 22.2%)。
6 を採用したのは速度ではなく空き VRAM が理由で、-ncmoe 2 の空き 489 MiB は
スピルして半減した -ncmoe 0 の 486 MiB のすぐ隣だからです。
ただし -ncmoe 2 が実運用で本当に落ちるかは測っていません(=採用理由は予防的な判断です)。

  • 素の -ngl 99 が遅いのは参考記事と一致します
  • ただし全部 CPU に出すのも遅い
  • この 2 つの量子化では最適値が違いました(2 と 24)。
    量子化 2 点・マシン 1 台での観測なので、一般則としては未検証です

モデルが VRAM を大きく超えるほど --cpu-moe が正解に近づきますが、
それでも部分オフロードの方が速いという結果でした。

実際に使っている構成

llama-server -m Qwen3.6-35B-A3B-Q4_K_M.gguf \
  -ngl 99 -ncmoe 24 \
  -c 65536 -fa on -ctk q8_0 -ctv q8_0 -b 512 -ub 512 \
  --host 127.0.0.1 --port 8080 --jinja --alias qwen-local

35B (A3B) が 12GB GPU で 46 tok/s 出ています。

この 46 tok/s は「KV が空のとき」の値です(実運用でどうなるか測りました)

計測2以降の数値はプロンプト 27 トークン・KV ほぼ空・生成 200 トークンでの実測です
(計測1 の llama-bench の表だけは -p 512 -n 128 で条件が違います)。
-c 65536 を勧めておきながら、KV を深く埋めた状態を一度も測っていなかったので
(実際に測れたのは 45,744 トークン= 65,536 の 70% までです)、
公開前に測りました。深度は浅→中→深→中→浅と、行って戻る順にして
(以下「回文順」と書きます)、行きと帰りで同じ深度の値が一致すれば
「時間が経ったから遅くなった」ではないと言えます。これで、
時間経過によるドリフトが深度の効果に化けないようにしています。

ブロック 実 KV 深度 生成 tok/s
1 1,464 46.95 ± 1.02
2 22,894 44.11 ± 0.25
3 45,744 41.68 ± 0.20
4 22,894 43.89 ± 0.51
5 1,464 46.72 ± 0.13

深度 45,744 でも −11.2% に収まりました。
回文の折り返しが 46.95 → 46.72(−0.5%)、44.11 → 43.89(−0.5%)で閉じているので、
時間ドリフトではなく深度の効果だと言えます。

これは同じ機体の dense モデルを同じ回文順で測った −41.0% の、およそ 4 分の 1です。
dense の結果から「MoE も実運用では大きく落ちるはず」と推測していたのですが、外れました。
MoE は KV 深度に強い、というのが実測です。

(1 セッション内の測定です。ただし効果 −11.2% はセッション間のブレ(後述、最大 3.1%)の
3.6 倍あるので、符号と桁は動かないと見ています。)

測るときの注意(自分がハマった分)

1. ウォームアップの1回目は捨てる

サーバ起動後の1回目の計測結果はブレやすいため、スコアから捨ててください。
同一セッション・同一プロンプトで計測したサーバログを比較すると、以下の実測値が得られました。
(※ログに残っていた -ncmoe 99 構成での値であり、推奨構成の値ではありませんが、傾向は掴めます)

生成 tok/s 総所要 ms プロンプト評価
ウォームアップ(task 0) 32.68 7,015 895 ms / 27 トークン
計測 3 回(task 202/403/604) 35.94 5,658 93 ms / 4 トークン
  • 生成速度で 10% 遅い、総所要時間で 24% 遅い
  • 処理時間の差(1,356 ms)のうち、59%(802 ms)はプロンプト評価によるもの
  • 2回目以降の評価が 27 → 4 トークンに減っているのはプレフィックスキャッシュのヒットによるもの

実測データから推測すると、1回目が遅い主な理由はモデルデータのロード(ページイン)よりも、プロンプト全体の初回評価に時間がかかっているからだと考えられます。

2. セッション間のブレと連続計測の安定性

セッションをまたいだ比較や連続計測において、速度がどの程度ブレるのかを再集計しました。

以下 CV(変動係数)= 標準偏差 ÷ 平均(平均の何 % ぶれたか)です。
また「スイープ」は -ncmoe を 16→24→32→40→48→99 と順に振って一気に測る一連の走行を指します。

再測定の組 条件 ブレ
Q4_K_M -ncmoe 24 5 セッション独立(9.5 時間・別スクリプト隔て。プロンプト長と ignore_eos が片方だけ違うので厳密な同条件ではありません) 46.39 / 46.91 / 47.09 / 47.41 / 46.94、CV 0.83%
Q4_K_M -ncmoe 40/48/99 同一構成を 3 回サーバ再起動 35.63 / 35.16 / 35.28、CV 0.69%
dense -ngl 16 / -ngl 40 スイープ末尾での再測定 +3.1% / +1.0%
Q4_K_M -ncmoe 24 を 60 回連続(公開前に追加計測) 温度・クロック同時記録 平均 47.85、CV 0.54%、レンジ 2.8%(スイープ時の 46.39 に対して +3.1%)

実測の結果、セッションをまたいでもブレは 0.7〜3.1% に収まりました。
本番構成を 60 回連続で回しても CV 0.54%(2,745 MHz 固定・スロットルなし)であり、この構成はかなり安定しています。

一方で、特定の構成下では同一セッション内で速度が2つの値のどちらかに張り付く現象(約 23% の変動)が確認されました(次項参照)。ここでは便宜上、これを「二状態」と呼びます。

2-a. 最適な層数の順位は安定しているか

別セッションでスイープ(一連の測定)を2回実施し、順位の再現性を確認しました。

-ncmoe スイープ1 スイープ2 順位
16 23.42 24.37 両方最下位
24 46.39 46.42 両方1 位
32 40.55 39.44 両方 2 位
40 35.63 32.33 3位 → 4位
48 35.16 32.49 5位 → 3位
99 35.28 29.11 4位 → 5位

構成選択に直結する上位・下位の順位は完全に一致しました(1 位 = 24、2 位 = 32、最下位 = 16)。
入れ替わったのは 40 / 48 / 99 の 3 つだけですが、この 3 つは機構的に同一構成です
(40 層目で全エキスパートを出し切るため、それ以上指定しても挙動は同じになります。
空き VRAM も 3 構成で一致しています)。

→ 実測に基づく結論: 速度差が明確な構成の順位は一致し、入れ替わるのは実質的に同一構成となる設定のみでした。

2-b. 同じセッションの中で速度が 2 つの値に張り付く

-ngl/-c/プロンプトすべて固定のまま 143 回連続で計測したデータが手元にありました。
この記事の MoE 構成ではなく、同じ機体で dense モデル(Qwen3.8-27B)を -ngl 40 で回したときのものです
(反復回数の指定を間違えて 3 回のつもりが 143 回回っていた、という事故の産物ですが、
143 個の値はすべて正当な 200 トークン生成です)。

状態 回数 生成 tok/s 状態内 sd
LOW 81 3.824 0.026
HIGH 62 4.711 0.060
  • 差は 23.2%
  • 143 個のばらつきのうち 99.0% は「どちらの状態にいたか」で説明でき、同じ状態の中でのばらつきは 1.0% だけ
  • 並びは「LOW が 11 回 → HIGH が 21 回 → LOW が 32 回 → HIGH が 3 回 → LOW が 38 回 → HIGH が 38 回」で、
    切り替わりは 143 回中 5 回しかありません
  • 約 2 時間後の別セッション(サーバ再起動を挟む)で同一構成を測ると 4.72 で、HIGH 状態を 0.19% で再現しました

二状態が出る構成では、3 回計測の sd 0.02 は「片方の状態の中で 3 回引いた」値です。 状態が数十回続くので、
3 連続計測はほぼ確実に片方に丸ごと収まります。反復回数を 3 → 10 に増やしても、この誤差棒は改善しません。
(ただしこの記事の MoE 構成では 60 回連続でも二状態は出ていないので、
表の ± 1.22 はそのまま精度として読んで問題なさそうです。)

なお、「計測回数」と「速度」の相関は +0.31(143点)であり、1.9時間かけて徐々に速くなる傾向が見られました。熱ダレであれば遅くなるはずですが、逆の現象が起きています。

計器を追加して実測した結果、この変動の原因はGPUクロックの挙動(GpuIdle)によるものと推測されます。
92分・2,761サンプルの記録において、熱によるスローダウンは0件でした。
一方で、nvidia-smi のログでは、GPUが「暇である」と判断してクロックを落とす GpuIdle が 72.1% のサンプルで発生しており、SMクロックの分布も低クロック帯(300〜599 MHz)と高クロック帯(2,700〜2,999 MHz)に二極化していました。

オフロード比率が高い dense 構成では PCIe 転送待ちが支配的なので、
GPU が「暇」と判断して 345〜390 MHz・24〜28 W のまま回ります。
一方この記事の本番構成(MoE、ほぼ VRAM 常駐)は 2,745 MHz 固定・スロットルなしで、
60 回連続でも二状態は出ませんでした。

→ この記事の構成を使う分には安定です。二状態が出たのは、モデルの大半を CPU 側に置いて
PCIe 転送待ちが支配的になった構成(dense 27B を -ngl 40、実測 3.8 tok/s 前後)だけでした。

3. 空き VRAM を毎回記録する

ブラウザが起きるだけで数百 MB 取られ、上記のスピル域に落ちます
(自分の記録では同じ -ncmoe 24 で空き 1064 MiB と 1621 MiB、差 557 MiB ありました)。
計測前にサーバを止めた状態で空き VRAM を実測して記録しておくと後から追跡できます。

再現用スクリプト

-c 65536 で llama-server を起動 → ウォームアップ破棄 → N 回計測 → CSV 追記、を
-ncmoe の各値について回すだけのものです。

foreach ($n in @(0,2,4,6,8,99)) {
  # サーバ起動(-ncmoe $n)、/health を待つ
  # ウォームアップ 1 回(破棄)
  # 3 回計測して completion_tokens / 経過秒 を記録
  # nvidia-smi で VRAM と空きを記録
  # サーバ停止
}

出力 CSV は追記(Append)モードで書き出すことをお勧めします。(新規作成モードにして過去の測定データを誤って消去しないよう注意してください。)

結論

参考記事の原理(エキスパートを CPU へ)は正しく、素の -ngl 99 が遅いのも再現しました。
ただし --cpu-moe(全部 CPU)は本環境では最適ではなく、
最適値はこの 2 つの量子化で違いました(IQ2→2、Q4_K_M→24)。

オフロード量は自分の環境で実測して決めてください、というのが結論です。

なお参考記事の環境とは GPU / RAM / OS / CUDA / モデル版が同時に 5 つ違うので、
どの要因が効いたかは分離できていません(他機での検証もしていません)。
「DDR4 32GB だから」と書きたくなりますが、その帰属を支持するデータは自分は持っていません。
本記事が実測で言えるのは「同じ 1 台の中でも、量子化と KV 設定を変えると最適 -ncmoe が
0 → 2 → 24 と動いた
」までです。
実測したところ、6構成のフルスイープにかかる時間は約 4.1 分(247 秒)でした。
(1点あたり約 41.2 秒。この中にサーバ起動・ウォームアップ・3回計測・停止がすべて含まれています)。
数分の計測の手間でパフォーマンスが倍以上変わる可能性があるため、ご自身の環境で一度測ってみる価値は大いにあります。

0
0
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?