はじめに

前回は MTP の仕組みと FP16 ベースラインを見ました。MTP-FP16-n1 で +15%、ただし n=3/5 はベースライン割れという結果でした。

ただ実用シーンを考えると、ローカル LLM を FP16 のまま動かす場面はあんまりなくて、たいてい FP8 か AWQ4 まで落として VRAM を稼ぎます。「じゃあ量子化を強くしたとき、MTP は同じように効いてくれるのか?」というのが今回の主題です。

比較するのはこの3つ。

FP16: Qwen/Qwen3.5-2B
FP8: lovedheart/Qwen3.5-2B-FP8
AWQ4: QuantTrio/Qwen3.5-2B-AWQ

ついでに Ollama (qwen3.5:2b Q8_0) でも同じプロンプトを流して、実用感覚としての参考値も取りました。

先に結論を書くと、全3量子化で「n=1 だけが有効」 という結果になりました。n=3 以上はどの量子化でも受理率が下がりすぎてベースラインを下回ります。「先読みを増やすほど速い」という直感は、少なくとも Qwen3.5-2B では成り立ちません。

量子化のおさらい

vLLM で扱える量子化フォーマットは複数ありますが、今回触ったのはこの3つです。

FP16 / BF16: 半精度。実質「量子化なし」
FP8 (compressed-tensors): 重みと活性を 8bit 浮動小数に。Ada Lovelace 以降の native FP8 演算で速い
AWQ 4bit: weight-only の 4bit 量子化。VRAM は大幅削減、計算は dequant 後の半精度で行う

ざっくり言うと、ビット幅が小さいほどモデルは軽くスループットは伸びる方向です。引き換えに精度が劣化します。

FP8 モデル選定でハマった話

最初は surogate/Qwen3.5-2B-FP8 を使っていました。

普通に MTP も動いているように見えるのに、/metrics を見ると 受理率が 0% になっていました。draft は出ているのに target が全部拒否している、という奇妙な状態です。

原因は FP8 量子化の 除外モジュール設定 でした。surogate 版は除外モジュールが 227 個、対して lovedheart/Qwen3.5-2B-FP8 は 900+ 個指定されています。lovedheart 版は MTP ヘッド周辺を FP8 量子化対象から外しているらしく、こちらに切り替えたら正常な受理率になりました。

教訓: MTP ヘッドが量子化で壊れると静かに 0% になる。FP8 + MTP を使うときは、最初に必ず /metrics で受理率を確認するのが安全です。

結果: Medium (256 tokens)

3量子化 × baseline/n=1/n=3/n=5 の全12構成。命名は前回と同じく Base-{量子化} / MTP-{量子化}-n{先読み数} です。

構成	tok/s	同量子化内 speedup	acceptance
Base-FP16	115.4	1.00	-
MTP-FP16-n1	126.4	1.10	0.52
MTP-FP16-n3	119.7	1.04	0.36
MTP-FP16-n5	94.3	0.82	0.22
Base-FP8	122.3	1.00	-
MTP-FP8-n1	143.1	1.17	0.57
MTP-FP8-n3	112.6	0.92	0.26
MTP-FP8-n5	88.5	0.72	0.17
Base-AWQ4	161.9	1.00	-
MTP-AWQ4-n1	180.3	1.11	0.68
MTP-AWQ4-n3	151.0	0.93	0.39
MTP-AWQ4-n5	116.7	0.72	0.26

ベースラインを横並びで見ると、量子化が軽いほど baseline が速い という素直な並びです。

FP16: 115.4 tok/s
FP8: 122.3 tok/s (FP16 比 1.06x)
AWQ4: 161.9 tok/s (FP16 比 1.40x)

ここに MTP を足すと、全量子化で n=1 のみ有効。n=3 は FP8/AWQ4 でベースライン割れ、n=5 はどの量子化でも大きく落ちます。

結果: Long (512 tokens)

構成	tok/s	同量子化内 speedup	acceptance
Base-FP16	116.0	1.00	-
MTP-FP16-n1	133.5	1.15	0.60
MTP-FP16-n3	120.6	1.04	0.36
MTP-FP16-n5	91.1	0.79	0.21
Base-FP8	123.9	1.00	-
MTP-FP8-n1	147.3	1.19	0.60
MTP-FP8-n3	131.1	1.06	0.36
MTP-FP8-n5	100.2	0.81	0.22
Base-AWQ4	164.1	1.00	-
MTP-AWQ4-n1	172.9	1.05	0.60
MTP-AWQ4-n3	140.5	0.86	0.34
MTP-AWQ4-n5	108.4	0.66	0.22

Long でも構造は同じです。全量子化で n=1 がピーク。FP8 + MTP-n1 は +19% (147.3 tok/s) が今回の最大効果。

AWQ4 は Long でも n=1 は +5% 程度の上乗せにとどまっています。baseline が速い分、MTP による絶対値の伸びが小さい。

なぜ n=3 以上が逆効果か

受理率の数字を見るとシンプルで、n=1 が 0.60 のところ n=3 は 0.36、n=5 は 0.21 まで落ちます。

投機的デコーディングのオーバーヘッドは「先読み n token 分の draft forward コスト + verify forward コスト増加」です。n=3 で3 token を連続して当てる確率は 0.36³ではなく「3 token すべての受理率の積に近い値」ですが、実態として verify 1 回あたりに回収できる token 数が n=1 と大差なくなる。

n=1: 1 step で 0.60 token 回収 → draft コスト小
n=3: 1 step で 0.36 × 3 ≈ 1.1 token 回収 → draft コスト大
n=5: 1 step で 0.21 × 5 ≈ 1.0 token 回収 → draft コスト 最大

おおよそ n=1 で 0.6、n=3 でも 1.1 程度。draft コストが増えた割に回収が増えていないので、n=3/5 は損益分岐を超えています。Qwen3.5-2B の MTP ヘッドは先読み精度がそこまで高くなく、n=1 で受理率 60% あたりが実用の天井に近いと思われます。

出力サンプル

数値だけだと品質感が伝わらないので、実際の出力も覗いておきます。プロンプトは「地方自治体の生成 AI 導入ガイド (Long 512 tokens)」です。

Qwen3.5 は thinking モードがデフォルト有効ですが、今回は enable_thinking: false で計測しているため、出力は最初から日本語の回答本文です。

[MTP-FP8-n1 Long の出力冒頭]
# 地方自治体が生成 AI を導入する際の進め方：実務者向け長文解説

地方自治体は、行政の効率化、透明性向上、そして市民サービスの質の向上を目的として、
生成 AI（LLM や多模态 AI など）の導入を検討するケースが増えています。

## 1. 導入目的の整理：なぜ AI を導入するのか？

*   業務効率化とコスト削減：
    行政書士や事務職員が、重複する書類作成や標準的な回答生成タスクを AI に委ね、
    人間の作業時間を大幅に短縮する。

*   情報提供の質の向上：
    市民が「〇〇の保険料は？」と検索する際、AI が最新の法律や条例に基づき、
    正確で即座に回答できることで、窓口での待ち時間を短縮する。

MTP-AWQ4-n1 でも Base-FP16 でも構造は同様で、明らかな崩れはありませんでした。

Ollama の参考値

参考までに、Ollama でも同じプロンプトを流しました。qwen3.5:2b は Q8_0 量子化で、temperature 0 / num_ctx 2048 / think: false で計測しています。

Engine	Workload	Eval tok/s
Ollama (Q8_0)	Medium	155.9
Ollama (Q8_0)	Long	155.9

Ollama は API も tokenization も vLLM と違うので横並び厳密比較ではありませんが、雑な体感では次の位置づけです。

AWQ4 baseline (164 tok/s) > Ollama Q8_0 (156 tok/s) > FP8+MTP-n1 (147 tok/s) > FP8 baseline (124 tok/s)

「Ollama で十分」という人も多いと思いますが、vLLM FP8 + MTP-n1 (147 tok/s) は Ollama Q8_0 (156 tok/s) とほぼ同等の速度域です。量子化の選択肢や、後述する 4B モデルへの移行を考えると vLLM を立てる価値はあります。

実用候補としての結論

今回の3量子化をまとめると次のようになります。

構成	Long tok/s (best)	Long 品質	評価
MTP-FP16-n1	133.5	OK	安定。速度控えめ
MTP-FP8-n1	147.3	OK	実用候補
MTP-AWQ4-n1	172.9	OK	速いが MTP 効果が薄い

速度だけなら AWQ4-n1 が最速 ですが、MTP による上乗せが +5% 程度なので baseline をそのまま使っても大差ありません。

実用候補は FP8 + MTP-n1 です。

FP16 baseline 比 +27%
FP8 baseline 比 +19%
出力品質に明らかな崩れなし
VRAM も RTX 4070 12GB に収まる

FP8 + MTP は「量子化で baseline を上げた上に MTP をかける」という二段構えが一番効いています。AWQ4 はベースラインが速い分 MTP の伸びしろが少なく、FP16 は逆にベースラインが遅いため上限が低い。

まとめ

全3量子化で n=1 のみ有効 (n=3 以上はベースライン割れ)
受理率が n=1 で 0.60、n=3 で 0.36、n=5 で 0.21 と急落するため、draft コストが利益を超える
MTP-FP8-n1 が実用候補: FP16 baseline 比 +27%、FP8 baseline 比 +19%
AWQ4 は baseline が速いが MTP 効果が薄い (Long で +5%)
Ollama Q8_0 (156 tok/s) と FP8+MTP-n1 (147 tok/s) はほぼ同速度域
FP8 で MTP を使うときは量子化除外設定で MTP ヘッドが守られているか確認するのが安全

次回 ③ は Qwen3.5-4B で D-Flash を試します。MTP とはまったく別方式の block diffusion drafter で、12GB GPU での限界も見えてきます。

参考リンク