0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LM Studio 10 tok/s → 同梱のllama-serverを直接起動したら26 tok/s。--n-cpu-moe 32で30 tok/sまで伸びた(VRAM 8GB)

0
Last updated at Posted at 2026-11-11

前回の記事で、RTX 3060 Ti(VRAM 8GB)で Qwen3.6-35B-A3B を動かすと、同じ GGUF でも LM Studio が 6.2 tok/s、Ollama が 19.1 tok/s になったと書きました。原因は分からないままで、「llama.cpp を直接 --n-cpu-moe 付きで動かして切り分ける」と予告していたので、その続きです。

LM Studio は llama.cpp のランタイムを ~/.lmstudio/extensions/backends/ に持っていて、その中に llama-server.exe が入っています。今回はこれを直接起動して、LM Studio が今使っているランタイム(2.73.0)のフォルダのもので比べました。

結論

2026-11-11 の 10:06〜10:48 に、同じ測り方で測った結果です(生成速度は3回の平均、カッコ内は最小〜最大)。VRAM は「モデルを読み込む前からの増分」です(理由は後述)。

実行環境・設定 生成速度 VRAMの増分
LM Studio 0.4.25 既定(設定上はエキスパート全部CPU・並列4) 10.21 tok/s(10.15〜10.24) 2,516MiB
同梱の llama-server を直接起動 --cpu-moe(エキスパート全部CPU) 25.87 tok/s(25.71〜26.15) 3,192MiB
同上 --n-cpu-moe 32 30.66 tok/s(30.15〜31.01)/再計測 29.36 6,565MiB/再計測 7,019MiB
同上 --n-cpu-moe 30 32.13 → 17.56 → 17.08(途中で低下)/再計測 18.38 7,191MiB/再計測 7,363MiB
Ollama 0.34.3(参考) 27.71 tok/s(27.04〜28.24) 6,498MiB
  • 設定上は同じ置き方(エキスパート全部CPU)・同じ GGUF なのに、LM Studio 経由と llama-server 直起動で約2.5倍の差が出た
  • 並列数は原因ではなかった。LM Studio は並列1でも 10.25 tok/s、llama-server は並列4にしても 25.04 tok/s
  • llama-server で --n-cpu-moe を 36・34・32・30 と振った中では、32(後ろ8層ぶんのエキスパートを GPU)が一番速かった。30 では遅くなり、再計測では共有GPUメモリの使用量がほかの設定より約550MiB多かったので、VRAM に入りきらなかった可能性が高い
  • LM Studio の中で何が違うのかは、まだ特定できていない

環境

項目 内容
GPU NVIDIA GeForce RTX 3060 Ti(VRAM 8GB)・ドライバ 610.88
CPU AMD Ryzen 5 4500(6コア12スレッド)
RAM 64GB
OS Windows 11 Home
LM Studio 0.4.25(ランタイム: llama.cpp-win-x86_64-nvidia-cuda12-avx2 2.73.0)
llama-server 上と同じ 2.73.0 のフォルダに入っているもの(--version の表示は 0.9.0-dev (build 1, commit 494d0f4))
Ollama 0.34.3
モデル unsloth/Qwen3.6-35B-A3B-GGUF の Qwen3.6-35B-A3B-UD-Q4_K_M.gguf(前回と同じファイル)

前回(10/22)からドライバが 610.62 → 610.88 に、LM Studio のランタイムが 2.61.0 → 2.73.0 に上がっています。前回のランタイム 2.61.0 は更新で消えていたので、前回とまったく同じ条件では測れていません。

--n-cpu-moe の数字の意味

GGUF のヘッダーを読むと、このモデルは 40層・各層256個のエキスパート(1トークンで使うのは8個) でした。

qwen35moe.block_count = 40
qwen35moe.expert_count = 256
qwen35moe.expert_used_count = 8

llama-server の --n-cpu-moe N は「先頭から N 層ぶんのエキスパートを CPU に置く」オプションです。-ngl 99 で層はすべて GPU に載せたうえで、エキスパートだけを CPU に戻します。

  • --cpu-moe: 40層すべてのエキスパートを CPU(LM Studio の既定の設定と同じ置き方)
  • --n-cpu-moe 32: 先頭32層のエキスパートは CPU、後ろ8層のエキスパートは GPU

LM Studio 側のモデル設定ファイルは前回と同じで、エキスパートは全部 CPU、CPU スレッドは6本です。

{ "key": "llm.load.llama.acceleration.offloadRatio", "value": 1 },
{ "key": "llm.load.numCpuExpertLayersRatio", "value": 1 },
{ "key": "llm.load.llama.cpuThreadPoolSize", "value": 6 },
{ "key": "llm.load.contextLength", "value": 32768 }

ただし、これは設定ファイルの値です。LM Studio が実際にどう読み込んだかは確認していません。

llama-server もスレッド数は指定せず、起動ログは n_threads = 6 でした。

再現手順

LM Studio に入っている llama-server を直接起動する

別途 llama.cpp を入れなくても、LM Studio のランタイムのフォルダにある llama-server.exe を起動できました。CUDA の DLL は同じ backends の下の vendor フォルダにあるので、PATH に足しています(Git Bash で実行。PATH の区切りが : なのはそのためです)。

B=~/.lmstudio/extensions/backends
cd $B/llama.cpp-win-x86_64-nvidia-cuda12-avx2-2.73.0
PATH="$B/vendor/win-llama-cuda12-vendor-v2:$PWD:$PATH" ./llama-server.exe \
  -m ~/.lmstudio/models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \
  -c 32768 -np 1 -ngl 99 --n-cpu-moe 32 \
  --host 127.0.0.1 --port 8091 --no-webui

--no-webui は、起動ログによると今は --no-ui が正式な名前になっています(古い名前でも動きました)。

測り方

測り方は前回と同じです。

  • どれも OpenAI 互換の /v1/chat/completions にストリーミングで同じ messages を送る
  • tok/s は、最初のトークンが届いてから最後のトークンまでの時間から自分で計算する(ツールの自己申告は使わない)
  • プロンプト: 「TypeScriptで、配列を指定サイズのチャンクに分割する関数 chunk を実装し、使い方の例とテストケースを3つ書いてください。」
  • 最大512トークン、temperature 0.2、thinking は既定のまま。どの設定でも 512トークンすべてを thinking に使っていた(本文は空)ので、生成した中身の条件は揃っている
  • 各4回実行して、1回目はウォームアップとして捨てる
  • 2回目以降はプロンプトがキャッシュされて、llama-server は4トークンしか評価していなかった。tok/s は最初のトークンが届いてからの時間で計算しているので、この影響は受けない
  • 設定を変えるたびに、LM Studio のモデルをすべてアンロードしてから測る
  • VRAM は各回の直後に nvidia-smi で取る(GPU 全体の値・MiB)。表には3回のうちの最大値と、読み込む前の値との差(増分)を書いた

自前の時計の値は、llama-server が自分で出す値ともほぼ一致していました(--cpu-moe の2回目で、自前 25.71 tok/s/サーバーのログ eval time ... 25.70 tokens per second)。

VRAM を増分で書く理由

計測の途中で、モデルを読み込む前の VRAM 使用量が動いていました。

計測 読み込む前の VRAM
1回目の --cpu-moe〜--n-cpu-moe 32、LM Studio、Ollama 1,216〜1,268MiB
1回目の --n-cpu-moe 30 789MiB
2回目(再計測)すべて 488〜533MiB

1回目の 32(10:28)と 30(10:30)のあいだで約450MiB下がっています。ほかのアプリの使用分が減ったのだと思いますが、何が減ったかは確認していません。GPU 全体の値のまま並べると比べられないので、増分で書いています。

結果1: --n-cpu-moe を振る

設定 生成速度(3回) GPU全体(最大) 増分
--cpu-moe(全部CPU) 25.87 tok/s(25.71〜26.15) 4,460MiB 3,192MiB
--n-cpu-moe 36(GPU に4層) 27.05 tok/s(26.35〜27.43) 6,389MiB 5,143MiB
--n-cpu-moe 34(GPU に6層) 27.18 tok/s(25.73〜28.06) 7,325MiB 6,087MiB
--n-cpu-moe 32(GPU に8層) 30.66 tok/s(30.15〜31.01) 7,802MiB 6,565MiB
--n-cpu-moe 32 再計測 29.36 tok/s(29.15〜29.50) 7,546MiB 7,019MiB
--n-cpu-moe 30(GPU に10層) 32.13 → 17.56 → 17.08 7,980MiB 7,191MiB
--n-cpu-moe 30 再計測 18.38 tok/s(18.30〜18.45) 7,896MiB 7,363MiB
  • 36・34 は --cpu-moe より5%ほど速い程度で、36 と 34 の差は誤差の範囲です
  • 同じ 32 でも、ロードし直すと 30.66 → 29.36 と約4%動きました。各設定は1回のロードで3回測っただけなので、数%の差は傾向とは言えません
  • 32 は --cpu-moe の1.1〜1.2倍で、今回振った中では一番速い設定でした
  • 30 は崩れました

30 で遅くなった理由(推測を含む)

--n-cpu-moe 30 は、1回目の計測ではウォームアップを含む最初の2回が 30〜32 tok/s で、3回目から 17 tok/s 台に落ちました。再計測ではウォームアップから 17〜18 tok/s 台です。

再計測のときは、Windows の「共有GPUメモリ」(VRAM からはみ出した分を置くシステムRAM)の使用量も、パフォーマンスカウンタ \GPU Adapter Memory(*)\Shared Usage で各回の直後に取りました(GPU 全体の値で、プロセスごとの値ではありません)。

設定(再計測) 生成速度 共有GPUメモリ
LM Studio 既定(並列4) 10.07 tok/s 148〜156MiB
--cpu-moe 並列4 25.04 tok/s 121〜124MiB
--n-cpu-moe 32 29.36 tok/s 140〜143MiB
--n-cpu-moe 30 18.38 tok/s 686〜687MiB

30 の再計測では共有GPUメモリがほかより約550MiB多く、速度も低いままでした。VRAM に入りきらなかった分がシステムRAM 側に置かれた可能性が高いと考えています。

ただし、言い切れない点が2つあります。

  • 1回目の計測では共有GPUメモリを取っていません。1回目の 30 が 32.13 → 17.56 tok/s に落ちたとき、nvidia-smi の値は 7,978 → 7,980MiB でほとんど変わっていませんでした。
  • 増分は --cpu-moe → 36 → 34 と2層ごとに約950MiBずつ増えています。それなのに1回目の 32 は 34 から +478MiB しか増えておらず、再計測の 32(7,019MiB)より約450MiB少ない値です。ちょうどこの計測のあたりで、読み込む前の VRAM が約450MiB下がっています。測っているあいだにほかのアプリの分が減って、増分が少なく見えたのかもしれませんが、確かめていません。

llama-server の起動ログには、30 と 32 で次の警告が出ていました(34・36・--cpu-moe では出ていません)。

W common_fit_params: failed to fit params to free device memory: n_gpu_layers already set by user to 99, abort

「空きメモリに収まるように自動調整しようとしたが、-ngl が手で指定されているので中止した」という意味です。余裕が少ない設定をちゃんと拾っているので、目安にはなります。ただ、32 はこの警告が出ても速いままでした。警告が出たら、遅くなるかどうかは実際に測って確かめるのが確実でした。

結果2: LM Studio との差は並列数ではなかった

前回、LM Studio の lms ps で並列数(PARALLEL)が4になっているのが気になっていました。llama-server は -np 1 で測っているので、両方の並列数を入れ替えて測りました。

実行環境 並列数 生成速度(3回) 増分
LM Studio 既定 4 10.21 tok/s(10.15〜10.24) 2,516MiB
LM Studio(lms load --parallel 4 で再計測) 4 10.07 tok/s(9.87〜10.40) 2,633MiB
LM Studio(lms load --parallel 1) 1 10.25 tok/s(10.13〜10.33) 2,606MiB
llama-server --cpu-moe 1 25.87 tok/s(25.71〜26.15) 3,192MiB
llama-server --cpu-moe -np 4 4 25.04 tok/s(24.35〜25.49) 3,397MiB

並列数を揃えても、LM Studio は 10 tok/s 前後、llama-server は 25 tok/s 前後のままです。なお llama-server を -np 4 にすると、コンテキスト 32768 が4つに分かれて、1スロットあたり8192になります(起動ログの n_ctx_slot = 8192)。

lms load で変えられるのは GPU オフロード率・コンテキスト長・並列数などで、エキスパートの置き方や Flash Attention を指定するオプションは見当たりませんでした。エキスパートの置き方は設定ファイルや GUI では変えられます。ただ、前回(2.61.0)はそれで試しましたが、今回の 2.73.0 では測っていません。

結果3: 前回より LM Studio も Ollama も速くなっていた

参考に測り直した Ollama は 27.71 tok/s でした。前回(10/22)は同じ 0.34.3・同じ GGUF・同じ測り方で 19.07 tok/s です。ollama ps の表示は前回と同じ 73%/27% CPU/GPU でした。

LM Studio も前回の 6.15 tok/s から 10.21 tok/s に上がっています。LM Studio は約1.66倍、ランタイムが変わっていない Ollama も約1.45倍と、どちらも大きく上がっているので、PC 側に共通の要因(ドライバの更新、裏で動いていた処理、Windows の更新など)がありそうです。切り分けはしていません。

ちなみに、別の日(11/04)に同じ測り方で LM Studio を測ったときは 9.07 tok/s でした(このときのランタイムの版は記録していません)。日付をまたいだ数字どうしは比べないほうがいい、というのが今回いちばん実感したことです。この記事の表は、すべて 11/11 の午前中に測ったものです。

分かっていないこと

  • LM Studio 経由と llama-server 直起動で2.5倍の差が出る理由。同じランタイムのフォルダには llama-server.exe のほかに llm_engine_cuda12.node などのライブラリも入っていて、LM Studio が内部でどれを使っているのかは確認していません。設定上は同じ「エキスパート全部CPU」でも、VRAM の増分は llama-server のほうが約590〜760MiB多く、実際の置き方(KV キャッシュや計算用バッファなどを含む)が違う可能性があります。ただ、推測です
  • --n-cpu-moe 31 や 33 は測っていません。32 が本当に一番いいのかは、もう少し細かく振らないと分かりません
  • Flash Attention・KV キャッシュの型・バッチサイズ・--load-mode は既定のままで、変えて測っていません(llama-server の起動ログには --load-mode none を勧める警告が出ていました)
  • 計測の順番は --cpu-moe → LM Studio → Ollama → 36 → 34 → 32 → 30 → 2回目(LM Studio 並列1 → 並列4 → --cpu-moe -np 4 → 32 → 30)で固定で、入れ替えていません
  • 計測直前の CPU 使用率は 4〜24% で揃っていません。基準にした --cpu-moe(並列1)が 24% といちばん高い状態で測っています。ただ、14% の状態で測った --cpu-moe -np 4 も 25.04 tok/s だったので、大きくは崩れていないと思います
  • 計測は1台・1つのプロンプト・512トークンまでです。長い文脈を入れたときの速度は測っていません

まとめ

  • LM Studio に入っている llama-server.exe は、そのまま直接起動できた
  • 設定上は同じエキスパートの置き方・同じ GGUF で、LM Studio 経由 10 tok/s、直起動 26 tok/s。並列数を揃えても差は縮まらなかった
  • VRAM 8GB・Qwen3.6-35B-A3B(40層)では、振った中では --n-cpu-moe 32 が約30 tok/s で一番速かった。30 では 17〜18 tok/s に落ちた
  • 「failed to fit」の警告は余裕が少ない合図にはなるが、出ても遅くなるとは限らない。境目は測って決めたほうがいい
  • 日付が違う計測どうしは比べない。比べるなら同じ日に並べて測る

LM Studio の中で何が違うのかは引き続き分かっていないので、知っている方がいたらコメントで教えてもらえるとうれしいです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?