前回の記事で、RTX 3060 Ti(VRAM 8GB)で Qwen3.6-35B-A3B を動かすと、同じ GGUF でも LM Studio が 6.2 tok/s、Ollama が 19.1 tok/s になったと書きました。原因は分からないままで、「llama.cpp を直接 --n-cpu-moe 付きで動かして切り分ける」と予告していたので、その続きです。
LM Studio は llama.cpp のランタイムを ~/.lmstudio/extensions/backends/ に持っていて、その中に llama-server.exe が入っています。今回はこれを直接起動して、LM Studio が今使っているランタイム(2.73.0)のフォルダのもので比べました。
結論
2026-11-11 の 10:06〜10:48 に、同じ測り方で測った結果です(生成速度は3回の平均、カッコ内は最小〜最大)。VRAM は「モデルを読み込む前からの増分」です(理由は後述)。
| 実行環境・設定 | 生成速度 | VRAMの増分 |
|---|---|---|
| LM Studio 0.4.25 既定(設定上はエキスパート全部CPU・並列4) | 10.21 tok/s(10.15〜10.24) | 2,516MiB |
同梱の llama-server を直接起動 --cpu-moe(エキスパート全部CPU) |
25.87 tok/s(25.71〜26.15) | 3,192MiB |
同上 --n-cpu-moe 32
|
30.66 tok/s(30.15〜31.01)/再計測 29.36 | 6,565MiB/再計測 7,019MiB |
同上 --n-cpu-moe 30
|
32.13 → 17.56 → 17.08(途中で低下)/再計測 18.38 | 7,191MiB/再計測 7,363MiB |
| Ollama 0.34.3(参考) | 27.71 tok/s(27.04〜28.24) | 6,498MiB |
- 設定上は同じ置き方(エキスパート全部CPU)・同じ GGUF なのに、LM Studio 経由と llama-server 直起動で約2.5倍の差が出た
- 並列数は原因ではなかった。LM Studio は並列1でも 10.25 tok/s、llama-server は並列4にしても 25.04 tok/s
- llama-server で
--n-cpu-moeを 36・34・32・30 と振った中では、32(後ろ8層ぶんのエキスパートを GPU)が一番速かった。30 では遅くなり、再計測では共有GPUメモリの使用量がほかの設定より約550MiB多かったので、VRAM に入りきらなかった可能性が高い - LM Studio の中で何が違うのかは、まだ特定できていない
環境
| 項目 | 内容 |
|---|---|
| GPU | NVIDIA GeForce RTX 3060 Ti(VRAM 8GB)・ドライバ 610.88 |
| CPU | AMD Ryzen 5 4500(6コア12スレッド) |
| RAM | 64GB |
| OS | Windows 11 Home |
| LM Studio | 0.4.25(ランタイム: llama.cpp-win-x86_64-nvidia-cuda12-avx2 2.73.0) |
| llama-server | 上と同じ 2.73.0 のフォルダに入っているもの(--version の表示は 0.9.0-dev (build 1, commit 494d0f4)) |
| Ollama | 0.34.3 |
| モデル | unsloth/Qwen3.6-35B-A3B-GGUF の Qwen3.6-35B-A3B-UD-Q4_K_M.gguf(前回と同じファイル) |
前回(10/22)からドライバが 610.62 → 610.88 に、LM Studio のランタイムが 2.61.0 → 2.73.0 に上がっています。前回のランタイム 2.61.0 は更新で消えていたので、前回とまったく同じ条件では測れていません。
--n-cpu-moe の数字の意味
GGUF のヘッダーを読むと、このモデルは 40層・各層256個のエキスパート(1トークンで使うのは8個) でした。
qwen35moe.block_count = 40
qwen35moe.expert_count = 256
qwen35moe.expert_used_count = 8
llama-server の --n-cpu-moe N は「先頭から N 層ぶんのエキスパートを CPU に置く」オプションです。-ngl 99 で層はすべて GPU に載せたうえで、エキスパートだけを CPU に戻します。
-
--cpu-moe: 40層すべてのエキスパートを CPU(LM Studio の既定の設定と同じ置き方) -
--n-cpu-moe 32: 先頭32層のエキスパートは CPU、後ろ8層のエキスパートは GPU
LM Studio 側のモデル設定ファイルは前回と同じで、エキスパートは全部 CPU、CPU スレッドは6本です。
{ "key": "llm.load.llama.acceleration.offloadRatio", "value": 1 },
{ "key": "llm.load.numCpuExpertLayersRatio", "value": 1 },
{ "key": "llm.load.llama.cpuThreadPoolSize", "value": 6 },
{ "key": "llm.load.contextLength", "value": 32768 }
ただし、これは設定ファイルの値です。LM Studio が実際にどう読み込んだかは確認していません。
llama-server もスレッド数は指定せず、起動ログは n_threads = 6 でした。
再現手順
LM Studio に入っている llama-server を直接起動する
別途 llama.cpp を入れなくても、LM Studio のランタイムのフォルダにある llama-server.exe を起動できました。CUDA の DLL は同じ backends の下の vendor フォルダにあるので、PATH に足しています(Git Bash で実行。PATH の区切りが : なのはそのためです)。
B=~/.lmstudio/extensions/backends
cd $B/llama.cpp-win-x86_64-nvidia-cuda12-avx2-2.73.0
PATH="$B/vendor/win-llama-cuda12-vendor-v2:$PWD:$PATH" ./llama-server.exe \
-m ~/.lmstudio/models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \
-c 32768 -np 1 -ngl 99 --n-cpu-moe 32 \
--host 127.0.0.1 --port 8091 --no-webui
--no-webui は、起動ログによると今は --no-ui が正式な名前になっています(古い名前でも動きました)。
測り方
測り方は前回と同じです。
- どれも OpenAI 互換の
/v1/chat/completionsにストリーミングで同じmessagesを送る - tok/s は、最初のトークンが届いてから最後のトークンまでの時間から自分で計算する(ツールの自己申告は使わない)
- プロンプト: 「TypeScriptで、配列を指定サイズのチャンクに分割する関数 chunk を実装し、使い方の例とテストケースを3つ書いてください。」
- 最大512トークン、temperature 0.2、thinking は既定のまま。どの設定でも 512トークンすべてを thinking に使っていた(本文は空)ので、生成した中身の条件は揃っている
- 各4回実行して、1回目はウォームアップとして捨てる
- 2回目以降はプロンプトがキャッシュされて、llama-server は4トークンしか評価していなかった。tok/s は最初のトークンが届いてからの時間で計算しているので、この影響は受けない
- 設定を変えるたびに、LM Studio のモデルをすべてアンロードしてから測る
- VRAM は各回の直後に
nvidia-smiで取る(GPU 全体の値・MiB)。表には3回のうちの最大値と、読み込む前の値との差(増分)を書いた
自前の時計の値は、llama-server が自分で出す値ともほぼ一致していました(--cpu-moe の2回目で、自前 25.71 tok/s/サーバーのログ eval time ... 25.70 tokens per second)。
VRAM を増分で書く理由
計測の途中で、モデルを読み込む前の VRAM 使用量が動いていました。
| 計測 | 読み込む前の VRAM |
|---|---|
1回目の --cpu-moe〜--n-cpu-moe 32、LM Studio、Ollama |
1,216〜1,268MiB |
1回目の --n-cpu-moe 30
|
789MiB |
| 2回目(再計測)すべて | 488〜533MiB |
1回目の 32(10:28)と 30(10:30)のあいだで約450MiB下がっています。ほかのアプリの使用分が減ったのだと思いますが、何が減ったかは確認していません。GPU 全体の値のまま並べると比べられないので、増分で書いています。
結果1: --n-cpu-moe を振る
| 設定 | 生成速度(3回) | GPU全体(最大) | 増分 |
|---|---|---|---|
--cpu-moe(全部CPU) |
25.87 tok/s(25.71〜26.15) | 4,460MiB | 3,192MiB |
--n-cpu-moe 36(GPU に4層) |
27.05 tok/s(26.35〜27.43) | 6,389MiB | 5,143MiB |
--n-cpu-moe 34(GPU に6層) |
27.18 tok/s(25.73〜28.06) | 7,325MiB | 6,087MiB |
--n-cpu-moe 32(GPU に8層) |
30.66 tok/s(30.15〜31.01) | 7,802MiB | 6,565MiB |
--n-cpu-moe 32 再計測 |
29.36 tok/s(29.15〜29.50) | 7,546MiB | 7,019MiB |
--n-cpu-moe 30(GPU に10層) |
32.13 → 17.56 → 17.08 | 7,980MiB | 7,191MiB |
--n-cpu-moe 30 再計測 |
18.38 tok/s(18.30〜18.45) | 7,896MiB | 7,363MiB |
- 36・34 は
--cpu-moeより5%ほど速い程度で、36 と 34 の差は誤差の範囲です - 同じ 32 でも、ロードし直すと 30.66 → 29.36 と約4%動きました。各設定は1回のロードで3回測っただけなので、数%の差は傾向とは言えません
- 32 は
--cpu-moeの1.1〜1.2倍で、今回振った中では一番速い設定でした - 30 は崩れました
30 で遅くなった理由(推測を含む)
--n-cpu-moe 30 は、1回目の計測ではウォームアップを含む最初の2回が 30〜32 tok/s で、3回目から 17 tok/s 台に落ちました。再計測ではウォームアップから 17〜18 tok/s 台です。
再計測のときは、Windows の「共有GPUメモリ」(VRAM からはみ出した分を置くシステムRAM)の使用量も、パフォーマンスカウンタ \GPU Adapter Memory(*)\Shared Usage で各回の直後に取りました(GPU 全体の値で、プロセスごとの値ではありません)。
| 設定(再計測) | 生成速度 | 共有GPUメモリ |
|---|---|---|
| LM Studio 既定(並列4) | 10.07 tok/s | 148〜156MiB |
--cpu-moe 並列4 |
25.04 tok/s | 121〜124MiB |
--n-cpu-moe 32 |
29.36 tok/s | 140〜143MiB |
--n-cpu-moe 30 |
18.38 tok/s | 686〜687MiB |
30 の再計測では共有GPUメモリがほかより約550MiB多く、速度も低いままでした。VRAM に入りきらなかった分がシステムRAM 側に置かれた可能性が高いと考えています。
ただし、言い切れない点が2つあります。
- 1回目の計測では共有GPUメモリを取っていません。1回目の 30 が 32.13 → 17.56 tok/s に落ちたとき、
nvidia-smiの値は 7,978 → 7,980MiB でほとんど変わっていませんでした。 - 増分は
--cpu-moe→ 36 → 34 と2層ごとに約950MiBずつ増えています。それなのに1回目の 32 は 34 から +478MiB しか増えておらず、再計測の 32(7,019MiB)より約450MiB少ない値です。ちょうどこの計測のあたりで、読み込む前の VRAM が約450MiB下がっています。測っているあいだにほかのアプリの分が減って、増分が少なく見えたのかもしれませんが、確かめていません。
llama-server の起動ログには、30 と 32 で次の警告が出ていました(34・36・--cpu-moe では出ていません)。
W common_fit_params: failed to fit params to free device memory: n_gpu_layers already set by user to 99, abort
「空きメモリに収まるように自動調整しようとしたが、-ngl が手で指定されているので中止した」という意味です。余裕が少ない設定をちゃんと拾っているので、目安にはなります。ただ、32 はこの警告が出ても速いままでした。警告が出たら、遅くなるかどうかは実際に測って確かめるのが確実でした。
結果2: LM Studio との差は並列数ではなかった
前回、LM Studio の lms ps で並列数(PARALLEL)が4になっているのが気になっていました。llama-server は -np 1 で測っているので、両方の並列数を入れ替えて測りました。
| 実行環境 | 並列数 | 生成速度(3回) | 増分 |
|---|---|---|---|
| LM Studio 既定 | 4 | 10.21 tok/s(10.15〜10.24) | 2,516MiB |
LM Studio(lms load --parallel 4 で再計測) |
4 | 10.07 tok/s(9.87〜10.40) | 2,633MiB |
LM Studio(lms load --parallel 1) |
1 | 10.25 tok/s(10.13〜10.33) | 2,606MiB |
llama-server --cpu-moe
|
1 | 25.87 tok/s(25.71〜26.15) | 3,192MiB |
llama-server --cpu-moe -np 4
|
4 | 25.04 tok/s(24.35〜25.49) | 3,397MiB |
並列数を揃えても、LM Studio は 10 tok/s 前後、llama-server は 25 tok/s 前後のままです。なお llama-server を -np 4 にすると、コンテキスト 32768 が4つに分かれて、1スロットあたり8192になります(起動ログの n_ctx_slot = 8192)。
lms load で変えられるのは GPU オフロード率・コンテキスト長・並列数などで、エキスパートの置き方や Flash Attention を指定するオプションは見当たりませんでした。エキスパートの置き方は設定ファイルや GUI では変えられます。ただ、前回(2.61.0)はそれで試しましたが、今回の 2.73.0 では測っていません。
結果3: 前回より LM Studio も Ollama も速くなっていた
参考に測り直した Ollama は 27.71 tok/s でした。前回(10/22)は同じ 0.34.3・同じ GGUF・同じ測り方で 19.07 tok/s です。ollama ps の表示は前回と同じ 73%/27% CPU/GPU でした。
LM Studio も前回の 6.15 tok/s から 10.21 tok/s に上がっています。LM Studio は約1.66倍、ランタイムが変わっていない Ollama も約1.45倍と、どちらも大きく上がっているので、PC 側に共通の要因(ドライバの更新、裏で動いていた処理、Windows の更新など)がありそうです。切り分けはしていません。
ちなみに、別の日(11/04)に同じ測り方で LM Studio を測ったときは 9.07 tok/s でした(このときのランタイムの版は記録していません)。日付をまたいだ数字どうしは比べないほうがいい、というのが今回いちばん実感したことです。この記事の表は、すべて 11/11 の午前中に測ったものです。
分かっていないこと
-
LM Studio 経由と llama-server 直起動で2.5倍の差が出る理由。同じランタイムのフォルダには
llama-server.exeのほかにllm_engine_cuda12.nodeなどのライブラリも入っていて、LM Studio が内部でどれを使っているのかは確認していません。設定上は同じ「エキスパート全部CPU」でも、VRAM の増分は llama-server のほうが約590〜760MiB多く、実際の置き方(KV キャッシュや計算用バッファなどを含む)が違う可能性があります。ただ、推測です -
--n-cpu-moe 31や 33 は測っていません。32 が本当に一番いいのかは、もう少し細かく振らないと分かりません - Flash Attention・KV キャッシュの型・バッチサイズ・
--load-modeは既定のままで、変えて測っていません(llama-server の起動ログには--load-mode noneを勧める警告が出ていました) - 計測の順番は
--cpu-moe→ LM Studio → Ollama → 36 → 34 → 32 → 30 → 2回目(LM Studio 並列1 → 並列4 →--cpu-moe -np 4→ 32 → 30)で固定で、入れ替えていません - 計測直前の CPU 使用率は 4〜24% で揃っていません。基準にした
--cpu-moe(並列1)が 24% といちばん高い状態で測っています。ただ、14% の状態で測った--cpu-moe -np 4も 25.04 tok/s だったので、大きくは崩れていないと思います - 計測は1台・1つのプロンプト・512トークンまでです。長い文脈を入れたときの速度は測っていません
まとめ
- LM Studio に入っている
llama-server.exeは、そのまま直接起動できた - 設定上は同じエキスパートの置き方・同じ GGUF で、LM Studio 経由 10 tok/s、直起動 26 tok/s。並列数を揃えても差は縮まらなかった
- VRAM 8GB・Qwen3.6-35B-A3B(40層)では、振った中では
--n-cpu-moe 32が約30 tok/s で一番速かった。30 では 17〜18 tok/s に落ちた - 「failed to fit」の警告は余裕が少ない合図にはなるが、出ても遅くなるとは限らない。境目は測って決めたほうがいい
- 日付が違う計測どうしは比べない。比べるなら同じ日に並べて測る
LM Studio の中で何が違うのかは引き続き分かっていないので、知っている方がいたらコメントで教えてもらえるとうれしいです。