MoE（Mixture of Experts）は「VRAMが潤沢な環境向け」とされることが多い。35Bのパラメータ全体をVRAMに載せてこそ速い、8GBでは恩恵がない——自分もそう思っていた。

RTX 4060 8GBでQwen3.5の3モデルを実測したら、その前提が崩れた。

実測から始める

前回の記事でQwen3.5の9B、27B、35B-A3Bを同一環境で比較した。その中からMoEに関わるデータを抜粋する。

検証環境: RTX 4060 8GB / Ryzen 7 / 32GB DDR5 / llama.cpp / Q4_K_M

モデル              速度(t/s)  VRAM    GPU%   CPU%   RAM     ngl
Qwen3.5-9B         33.0       7.1GB   91%    32%    22.6GB  99 (全層GPU)
Qwen3.5-27B        3.57       7.7GB   60%    74%    28.3GB  24 (24/58層GPU)
Qwen3.5-35B-A3B    8.61       7.6GB   95%    65%    30.8GB  99 (全層GPU)

3モデルともVRAM消費は7.1〜7.7GBでほぼ同じ。ところが速度は33.0、3.57、8.61 t/sと最大10倍の差がある。

注目すべきは27B Denseと35B-A3B MoEの比較だ。35Bのほうがパラメータ数が多いのに、27Bの2.4倍速い。

なぜ35Bが27Bより速いのか

答えはGPU利用率に出ている。

27B Dense (GPU 60%): Q4_K_Mで約16GB。8GBに収まらないため、58層中24層だけGPUに載せ、残り34層はCPUで処理する（ngl=24）。GPUは自分の分を処理し終えても、CPUの完了を待つ。GPU利用率60%の意味は、40%の時間GPUが遊んでいるということだ。

35B-A3B MoE (GPU 95%): Q4_K_Mで約21GB。これも8GBに収まらない。だがngl=99で全層がGPUに載る。なぜか。

MoEの構造が鍵になる。35B-A3Bは256個のエキスパートを持つが、1トークンあたり活性化するのは8個のルーテッドエキスパート+1個の共有エキスパートで、パラメータ換算で約3B。推論時にGPUが実際に計算するのはこの3B分だけだ。llama.cppはこの活性パラメータ分をVRAMに展開し、非活性のエキスパート重みはシステムRAMに保持する。結果、VRAM 7.6GBで収まりつつ、GPUの演算パイプラインは3B分の計算で95%まで埋まる。

システムRAM 30.8GBがこの構造を裏付けている。9Bの22.6GBに対して+8.2GB。35B分の全エキスパート重みがRAM上に展開されている（Lv4推論: RAM差分がエキスパート重み格納分に概ね一致する。厳密な内部挙動はllama.cppの実装依存）。

MoEの仕組み: 全員を起こすな、専門家だけ呼べ

実測データの解釈に必要な範囲で、MoEの仕組みを整理する。

通常のTransformerモデル（Dense model）は、入力トークンが全てのパラメータを通過する。27Bモデルなら、毎トークンごとに27B個のパラメータが計算に参加する。

MoEは各層にN個のエキスパート（小さなFFN）を持ち、ゲーティングネットワークがトークンごとに上位K個だけを選択・活性化する。

Dense 27B:
  入力トークン → [全27Bパラメータ] → 出力
  毎回27B個の計算。8GBに収まらず24/58層だけGPU → 残りCPU → 遅い

MoE 35B-A3B:
  入力トークン → ゲーティング → 8+1エキスパートを選択
                              → [活性パラメータ: ~3B] → 出力
  毎回3B個の計算。GPU内で完結 → 速い
  残り32Bの非活性エキスパートはRAMに待機

この仕組みが8GB環境で効く理由は明快だ。Dense 27Bは全パラメータをGPUに通す必要があるが収まらない。MoE 35Bは活性パラメータだけGPUに通せばよく、3Bなら余裕で収まる。8GBに収まらないモデル同士の比較では、MoEのほうが構造的に有利になる。

数字で見るMoEの効率

主要MoEモデルのスペック一覧。これらは各モデルの公式発表値。

モデル                  総パラメータ  活性パラメータ  活性率   エキスパート数
Mixtral 8x7B           46.7B        12.9B          27.6%    8
Mixtral 8x22B          141B         39B            27.7%    8
Qwen3-235B-A22B        235B         22B            9.4%     128
Qwen3.5-35B-A3B        35B          3B             8.6%     256
DeepSeek-V3            671B         37B            5.5%     256

活性率のトレンド: 初期MoE(27%) → 最新MoE(5-9%)
エキスパート数: 初期(8個) → 最新(64-256個)

活性率の低下トレンドがある。Mixtral世代の27%から、最新のDeepSeek-V3では5.5%まで下がっている。エキスパートを細かく分割して、より少数を精密に選択する方向に進化している。

DeepSeekMoEの論文が示した知見として、エキスパートの粒度を細かくすると、同じ計算予算でも性能が向上する。多数の小さなエキスパートからtop-K選択するほうが、少数の大きなエキスパートを使うより高品質になる。

8GBユーザーにとって重要なのは、活性率が低いほど、VRAM内で完結する計算量が小さくなるということだ。Qwen3.5-35B-A3Bの活性率8.6%は、35Bの知識を3B分のGPU負荷で使えることを意味する。

8GBユーザーのMoE選択基準

実測データから導ける判断基準をまとめる。

速度最優先 → Dense 9B（33 t/s）。全層がGPUに収まり、GPU 91%で無駄がない。対話・コード補完・チャット用途。

品質を上げたい → MoE 35B-A3B（8.61 t/s）。Dense 27B（3.57 t/s）の2.4倍速く、出力品質は同等以上。実測では、コード生成でDense 27Bが5パターン+比較表を出すのに対し、35B-A3Bは4パターン+並行テストコードを出した。thinking効率も35B-A3Bが最短（8行 vs 27Bの11行）。

Dense 27Bを選ぶ理由はない。 3.57 t/sは対話的に使うには遅すぎる。品質がMoE 35B-A3Bを明確に上回るわけでもない。ngl=24の部分オフロードはGPU 60%/CPU 74%という非効率な状態を生み出す。

ただし条件がある。MoE 35B-A3BはシステムRAMを30.8GB消費する。RAM 16GBのマシンではスワップが発生し、この結論は成立しない可能性がある（Lv4推論: 未検証だが、32GB→30.8GBで空きが1.2GBの当環境でもほぼ限界に近い）。

文献が見落としていたこと

MoEの解説記事の多くは「全パラメータがVRAMに載る環境」を前提にしている。A100 80GBやRTX 4090 24GBを想定した説明だ。

この前提から導かれる「VRAMに収まらないならDenseのほうが良い」という判断は、8GB環境の実測と矛盾した。なぜか。

文献が想定するMoEの速度メリットは「活性パラメータ分の計算量でDense品質を超える」ことだ。全パラメータがVRAMに載っていれば、活性3B分の計算量で35B品質が出る。これは正しい。

だが文献が見落としているのは、VRAMに収まらないDenseモデルはもっと遅くなるという比較の片側だ。27B DenseもVRAMに収まらない。MoEもVRAMに収まらない。両方収まらない条件で比較すると、活性パラメータだけGPU内で完結できるMoEが構造的に有利になる。

[8GB VRAMで両方収まらない場合の比較]

Dense 27B:     全27Bの計算が必要 → 24/58層だけGPU → 3.57 t/s
MoE 35B-A3B:   活性3Bの計算だけ → 全層GPU → 8.61 t/s

「収まらない同士」ではMoEが勝つ。
文献の「MoEはVRAM潤沢な環境向け」は、比較対象がVRAMに収まるDenseの場合にのみ成立する。

8GBユーザーにとってのMoEの価値は、「VRAMが足りなくても、同品質帯のDenseより速い」という点にある。VRAMが潤沢な環境"だけ"で有利なのではなく、VRAMが足りない環境"でこそ"差が出る。

MoEの制約: 万能ではない

実測データからMoEの制約も見えている。

ctx枯渇問題: 35B-A3Bは知識量が豊富な分、thinkingでctxを食い尽くす傾向がある。実測では、知識要約タスク（量子コンピューティングを500文字で）で35B-A3Bがctx 8192を20分で枯渇させた。9Bは同じタスクを完走した。知識が深いことが、ctx制約下では逆にハンディになる。

システムRAM消費: 30.8GBは32GB RAMのマシンでほぼ限界。他のアプリケーションとの共存が厳しい。16GB RAMでは実用的でない可能性が高い。

速度の天井: 8.61 t/sは実用域だが、9Bの33 t/sには遠い。リアルタイム対話やストリーミング出力では、この差が体感に直結する。

参考

Qwen3.5の27Bが9Bに負けた RTX 4060の逆説 — 本記事の実測データ元
MoE LLMs — Cameron R. Wolfe — MoEアーキテクチャの包括的解説
DeepSeek MoE and V2 — Chipstrat — DeepSeekMoEの設計思想
Qwen1.5-MoE — 7B性能を1/3活性パラメータで達成
The Big LLM Architecture Comparison — Dense/MoE/MLA比較