初めに
最近、125B の MoE モデル Qwen3.8-Flash-Next をローカルで動かす話題をよく見かけます。
その中でも、Qwen3.8-Flash-Next 専用の推論エンジン Strata は、「GPU + システム RAM + CPU」を組み合わせて巨大な MoE を一般的な PC で動かせる点が特徴です。
今回は、手元の 4×RTX 4090 マシン(WSL2)に Strata をデプロイしました。ソースの取得、エンジンのビルド、Q4 量子化モデルのダウンロード、OpenAI 互換 API としての公開、ベンチマークまで、実際に打ったコマンドの順に step by step でまとめます。
対象読者は、マルチ GPU 環境でローカル LLM を動かしたい技術者です。
結論
4×RTX 4090 + UD-Q4_K_XL の組み合わせで、次のような結果になりました。
- expert cache ヒット率 99.4%(77GB の experts がほぼ全部 VRAM に載る)
- チャットの decode : 57.4 tok/s(中央値)
- エージェント 6 ターン : 84.5 tok/s(中央値、MTP 投機的デコード込み)
- 32K プロンプトの読み込み : 1,437 tok/s(初回トークンまで 22.4 秒)
- コンテキスト長 : 262,144 トークン
個人的には、エージェント用途のローカルモデルとして十分実用的な速度だと思います。
ただし、WSL2 + 4 枚構成では、いくつかハマりどころがありました。それも含めて記録しておきます。
環境
| 項目 | 内容 |
|---|---|
| マシン | Lenovo ThinkStation PX |
| CPU | Intel Xeon Gold 6430(AVX-512) |
| メモリ | 256 GB(DDR5 32GB × 8) |
| GPU | NVIDIA GeForce RTX 4090 × 4(PCIe 4.0 x16、NVLink なし) |
| Windows ドライバ | 621.14(CUDA UMD 13.5) |
| WSL2 | Ubuntu 26.04 / gcc 15.2 / cmake 4.2.3 |
| CUDA Toolkit | 13.3 |
| Strata | v0.1.59.1(ソースからビルド) |
| モデル | unsloth/Qwen3.8-Flash-Next-GGUF の UD-Q4_K_XL |
GPU の PCI Bus ID は次の通りです。以降、CUDA_DEVICE_ORDER=PCI_BUS_ID を前提にします。
index, pci.bus_id
0, 00000000:27:00.0
1, 00000000:38:00.0
2, 00000000:98:00.0
3, 00000000:C8:00.0
全体の流れ
Step 0. 事前準備(WSL のメモリ設定、CUDA Toolkit、ビルドツール)
Step 1. 4 枚の GPU が CUDA から使えるか確認
Step 2. Strata のソースを取得
Step 3. Q4 の重みを ModelScope からダウンロード
Step 4. setup.sh でビルド・設定
Step 5. 起動スクリプトを作って起動
Step 6. 動作確認
Step 7. ベンチマーク
Step 8. 同時リクエスト数(--parallel)を 2 にする
Step 9. ドラフター(MTP / DFlash2)を比較する
Step 0. 事前準備
0.1 WSL のメモリ上限と Windows のページファイル
Strata は experts をシステム RAM に載せ、その一部を GPU 用に Pinned します。このとき、Windows 側の仮想メモリ(RAM + ページファイル)が足りないと、WSL ごと落ちます。
実際、最初は .wslconfig に memory=232GB を設定していましたが、モデル読み込み中に WSL が落ち、Windows のイベントログには「仮想メモリ不足」が記録されていました。vmmemWSL が上限を超えて約 245 GiB をコミットしていたためです。
%UserProfile%\.wslconfig は次のようにしました。
[wsl2]
memory=200GB
swap=32GB
あわせて、Windows のページファイルを増やします。管理者権限の PowerShell で実行します。
$cs = Get-CimInstance Win32_ComputerSystem
Set-CimInstance -InputObject $cs -Property @{AutomaticManagedPagefile=$false}
New-CimInstance -ClassName Win32_PageFileSetting -Property @{Name='D:\pagefile.sys'; InitialSize=[uint32]65536; MaximumSize=[uint32]196608}
Restart-Computer
0.2 CUDA Toolkit 13.3
Ubuntu 26.04 + CUDA 13.0 の組み合わせでは、nvcc が次のエラーで止まりました。
error: exception specification is incompatible with that of previous function "rsqrt"
新しい glibc と CUDA 13.0 のヘッダの宣言が衝突するためです。CUDA 13.3 は Ubuntu 26.04 を正式にサポートしているので、13.3 に上げたら解消しました。
WSL では、必ず wsl-ubuntu リポジトリから cuda-toolkit-13-3 だけを入れます。cuda や cuda-drivers は Linux 用ドライバまで入れようとするので、WSL では使いません。
cd /tmp
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-3
~/.bashrc に PATH を設定します。
export CUDA_HOME=/usr/local/cuda-13.3
export PATH="$CUDA_HOME/bin:$PATH"
export LD_LIBRARY_PATH="$CUDA_HOME/lib64:$LD_LIBRARY_PATH"
source ~/.bashrc
which nvcc && nvcc --version | tail -2
0.3 ビルドツール(古い cmake に注意)
Strata のビルドには、新しい cmake が必要です。私の環境では、次の 2 つの古い cmake が PATH の先頭にあり、CUDA20 方言を認識できずにビルドが失敗しました。
| 場所 | 中身 |
|---|---|
/root/miniconda3/bin/cmake |
conda base 環境の cmake |
/usr/local/bin/cmake |
以前 pip で入れた cmake 3.25 |
conda の自動起動を止め、pip 版の cmake / ninja を退避します。
conda deactivate
conda config --set auto_activate_base false
sudo apt-get install -y cmake ninja-build
mv /usr/local/bin/cmake /usr/local/bin/cmake.pip-old
mv /usr/local/bin/ninja /usr/local/bin/ninja.pip-old
hash -r
which cmake ninja && cmake --version # /usr/bin/cmake、4.x であること
Step 1. 4 枚の GPU が CUDA から使えるか確認
nvidia-smi で 4 枚見えていても、CUDA から使えるとは限りません。
私の環境では、GPU 2(bus 98)だけが cudaSetDevice() で error 46(busy or unavailable)になり、GPU 2 を含めると cudaGetDeviceCount() 自体が error 2(out of memory)で失敗しました。
これは WSL2 のマルチ GPU 環境の既知の問題で、CUDA より先に NVML を初期化すると回避できます。PyTorch 系(vLLM / SGLang)で問題が出にくいのは、内部で先に NVML を呼んでいるためです。詳しい切り分けは別記事にまとめています。
対策として、NVML を先に初期化するだけの共有ライブラリを作ります。
mkdir -p ~/gpucheck && cd ~/gpucheck
cat > nvml_preinit.c <<'EOF'
#include <nvml.h>
// WSL2 マルチ GPU 対策: CUDA より先に NVML を初期化する
__attribute__((constructor)) static void nvml_preinit(void) {
unsigned n;
if (nvmlInit_v2() == NVML_SUCCESS) nvmlDeviceGetCount_v2(&n);
}
EOF
gcc -shared -fPIC -O2 -I/usr/local/cuda-13.3/include nvml_preinit.c -o libnvml_preinit.so \
-L/usr/lib/wsl/lib -l:libnvidia-ml.so.1
sudo mkdir -p /opt/wsl-gpu-fix
sudo cp libnvml_preinit.so nvml_preinit.c /opt/wsl-gpu-fix/
確認用に、各 GPU で 20 GiB を確保・書き込み・検証するプログラム(gpucheck.cu、別記事に全文あり)を実行しました。
CUDA_VISIBLE_DEVICES=3,2,1,0 LD_PRELOAD=/opt/wsl-gpu-fix/libnvml_preinit.so ./gpucheck
cudaGetDeviceCount = 4
dev 0: NVIDIA GeForce RTX 4090 bus c8 sm_89
20GiB alloc+kernel+verify OK | H2D 24.9 GB/s D2H 26.2 GB/s
dev 1: NVIDIA GeForce RTX 4090 bus 98 sm_89
20GiB alloc+kernel+verify OK | H2D 25.1 GB/s D2H 26.3 GB/s
dev 2: NVIDIA GeForce RTX 4090 bus 38 sm_89
20GiB alloc+kernel+verify OK | H2D 25.0 GB/s D2H 26.2 GB/s
dev 3: NVIDIA GeForce RTX 4090 bus 27 sm_89
20GiB alloc+kernel+verify OK | H2D 25.0 GB/s D2H 26.2 GB/s
RESULT: ALL OK
4 枚とも、PCIe 4.0 x16 相当の帯域が出ています。ネイティブ Linux や、1 枚目から問題なく動く環境では、この Step は不要です。
Step 2. Strata のソースを取得
cd ~
git clone --depth 1 https://github.com/Niko1221/Strata.git
cd Strata
リポジトリは履歴が長いので、--depth 1 で最新だけ取得するのがおすすめです。
Step 3. Q4 の重みを ModelScope からダウンロード
3.1 なぜ手動でダウンロードするのか
Strata の setup は、モデルを自動でダウンロードできます。ModelScope からも取得でき、速度は約 117 MB/s 出ていました。
ただし、UD-Q4_K_XL では次のエラーで止まりました。
[X] Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf is 10,946,618 bytes on www.modelscope.cn, not the pinned 10,946,624
update Strata (the file there has changed since this version pinned it)
setup.py を読むと、原因が分かりました。
| ファイルセット | 日付 | 1〜4 番目の分割ファイルのサイズ |
|---|---|---|
UNSLOTH_SHARDS(setup が自動で取得) |
2026-09-30 | 10946624 / 49859583136 / 49376141504 / 12087983520 |
UNSLOTH_Q4_V31_SHARDS(Dynamic v3.1) |
2026-11-04 | 10946618 / 49720539552 / 32803030176 / 28800138432 |
- Unsloth が 2026-11-04 にリポジトリを再公開し、UD-Q4_K_XL の分割の仕方が変わった
- ModelScope(と Hugging Face の main)は、すでに新しいファイルセットになっている
- setup の自動ダウンロードは古いセットを固定(pin)しているので、サイズが合わない
- 新しいセットは、
--gguf-dirで手元のファイルを渡したときだけ、サイズと SHA-256 で認識される
ModelScope と Hugging Face の API でサイズと SHA-256 を比較したところ、4 ファイルとも完全に一致していました。なお、2 つのセットは分割位置が違うため、混ぜて使うことはできません。
3.2 ダウンロード
modelscope CLI 用に venv を作ります。
python3 -m venv ~/ms-venv
~/ms-venv/bin/pip install -U modelscope
--local_dir の下に UD-Q4_K_XL/ ができるので、モデル置き場を指定します。
~/ms-venv/bin/modelscope download --model unsloth/Qwen3.8-Flash-Next-GGUF \
--include "UD-Q4_K_XL/*.gguf" --local_dir /root/Strata-data/models
ls -l /root/Strata-data/models/UD-Q4_K_XL/
Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf 10946618
Qwen3.8-Flash-Next-UD-Q4_K_XL-00002-of-00004.gguf 49720539552
Qwen3.8-Flash-Next-UD-Q4_K_XL-00003-of-00004.gguf 32803030176
Qwen3.8-Flash-Next-UD-Q4_K_XL-00004-of-00004.gguf 28800138432
合計約 111 GB です。
Step 4. setup.sh でビルド・設定
4.1 setup の実行
cd ~/Strata
env -u CUDA_VISIBLE_DEVICES CUDA_DEVICE_ORDER=PCI_BUS_ID \
LD_PRELOAD=/opt/wsl-gpu-fix/libnvml_preinit.so \
./setup.sh --setup --no-start --build --source modelscope \
--family unsloth --model UD-Q4_K_XL \
--gguf-dir /root/Strata-data/models/UD-Q4_K_XL \
--gpus 3,2,1,0 --layer-split auto --context 262144 \
--host 0.0.0.0 --port 8000 --api-key dummy
主なオプションは次の通りです。
| オプション | 意味 |
|---|---|
--build |
ビルド済みエンジンを探さず、手元でコンパイルする |
--source modelscope |
MTP ドラフト層などを ModelScope から取得する |
--gguf-dir |
Step 3 でダウンロードしたファイルを使う |
--gpus 3,2,1,0 |
使う GPU(物理番号で指定) |
--context 262144 |
コンテキスト長(ネイティブの上限) |
--host 0.0.0.0 --port 8000 |
LAN から OpenAI 互換 API にアクセスできるようにする |
--no-start |
設定だけして、起動はしない |
注意点が 1 つあります。 Strata は --gpus の値から CUDA_VISIBLE_DEVICES を自分で設定するため、外から渡した CUDA_VISIBLE_DEVICES は上書きされます。そのため env -u CUDA_VISIBLE_DEVICES で外側の値を消し、GPU は --gpus に物理番号で指定します。
最初は CUDA_VISIBLE_DEVICES=3,1,0 と --gpus 0,1,2 を組み合わせていましたが、Strata が CUDA_VISIBLE_DEVICES=0,1,2 に書き換えたため、問題の GPU 2 が混ざって起動に失敗しました。
4.2 setup の流れ
setup は、Step 1 から順に進みます。
Step 1: PC のチェック
Your NVIDIA GPUs:
GPU 0: NVIDIA GeForce RTX 4090, 24 GB VRAM - can be used
GPU 1: NVIDIA GeForce RTX 4090, 24 GB VRAM - can be used
GPU 2: NVIDIA GeForce RTX 4090, 24 GB VRAM - can be used
GPU 3: NVIDIA GeForce RTX 4090, 24 GB VRAM - can be used
[ok] RAM: 228 GB
[ok] CPU: Intel(R) Xeon(R) Gold 6430 (AVX-512)
[ok] PCIe: 4.0 x16
Step 2: 選択項目
対話形式で聞かれるので、次のように答えました。
| 質問 | 回答 |
|---|---|
| KV cache precision |
1(8-bit、公開されている数値はすべてこれで測定) |
| Images |
y(画像入力を有効化、VRAM を約 1.4 GB 確保) |
Step 3: Python パッケージ
.venv に numpy などが入ります。
Step 4: エンジンのビルド
[ok] build tools present (CUDA 13.3)
Compiling the Strata engine for your GPU (10-20 minutes, once) ...
> /usr/bin/cmake -G Ninja ... -DCMAKE_CUDA_ARCHITECTURES=89 ...
途中で warning #20280-D や warning #177-D が大量に出ますが、警告なので問題ありません。
[275/275] Linking CXX executable bin/strata-vision
[ok] engine compiled: /root/Strata/engine/strata
Step 5 以降: モデルの確認と MTP ドラフト層
--gguf-dir のファイルが SHA-256 で検証されます。その後、MTP(投機的デコード用のドラフト層、約 5.2 GB)が ModelScope からダウンロードされ、GGUF に変換されます。
MTP draft layer: 5.21 / 5.21 GB (100%)
> /root/Strata/.venv/bin/python /root/Strata/tools/mtp_pack.py --src /root/Strata-data/mtp ...
Step 7: 起動スクリプトの作成
=== Step 7: writing the start script ===
[ok] WSL: KV streaming off (the driver pins only about 1 GB of RAM); the KV cache stays in VRAM
[ok] layer split across GPUs [3, 2, 1, 0] (auto)
WSL では Pinned できるメモリが少ないため、KV cache は VRAM に置かれます。
最後に、同時リクエスト数(--parallel)の案内が出ます。ここではデフォルトの 1(順番に処理)のままにして、ベンチマークの結果を見てから Step 8 で 2 に変更しました。
Step 5. 起動スクリプトを作って起動
毎回 env -u ... と LD_PRELOAD を打つのは面倒なので、起動スクリプトにします。
cat > ~/Strata/start-q4.sh <<'EOF'
#!/usr/bin/env bash
# Strata + Qwen3.8-Flash-Next UD-Q4_K_XL on 4x RTX 4090 (WSL2)
set -euo pipefail
STRATA_DIR="${STRATA_DIR:-$HOME/Strata}"
PRELOAD="${PRELOAD:-/opt/wsl-gpu-fix/libnvml_preinit.so}" # WSL マルチ GPU 対策
PORT="${PORT:-8000}"
cd "$STRATA_DIR"
[ -f "$PRELOAD" ] || { echo "ERROR: $PRELOAD not found"; exit 1; }
RUN="$(ls run-unsloth-*q4_k_xl*.sh 2>/dev/null | head -1 || true)"
[ -n "$RUN" ] || { echo "ERROR: Q4 の起動スクリプトがありません。先に setup を実行してください"; exit 1; }
if ss -ltn "sport = :$PORT" | grep -q LISTEN; then
echo "ERROR: port $PORT is already in use"
exit 1
fi
echo "Starting $RUN on 0.0.0.0:$PORT (GPUs 3,2,1,0) ..."
# Strata は --gpus から CUDA_VISIBLE_DEVICES を自分で設定するので、外側の値は消す
exec env -u CUDA_VISIBLE_DEVICES CUDA_DEVICE_ORDER=PCI_BUS_ID LD_PRELOAD="$PRELOAD" "./$RUN" "$@"
EOF
chmod +x ~/Strata/start-q4.sh
tmux の中で起動しておくと便利です。
tmux new -s strata
~/Strata/start-q4.sh
初回は experts(数十 GB)を RAM に読み込むため、1〜3 分ほど PC の反応が重くなります。
起動後の VRAM は、4 枚ともほぼ使い切っていました。
| 0 NVIDIA GeForce RTX 4090 | 00000000:27:00.0 | 23974MiB / 24564MiB |
| 1 NVIDIA GeForce RTX 4090 | 00000000:38:00.0 | 23126MiB / 24564MiB |
| 2 NVIDIA GeForce RTX 4090 | 00000000:98:00.0 | 23126MiB / 24564MiB |
| 3 NVIDIA GeForce RTX 4090 | 00000000:C8:00.0 | 23292MiB / 24564MiB |
空いている VRAM は、ほぼすべて expert cache に使われます。
Step 6. 動作確認
OpenAI 互換 API として使えます。Strata はリクエストの model 名を問わないので、クライアント側で好きな名前を指定できます。
curl http://xxx.xxx.xxx.xxx:8000/v1/chat/completions \
-H "Authorization: Bearer dummy" \
-H "Content-Type: application/json" \
-d '{"model":"gpt-5.5","messages":[{"role":"user","content":"こんにちは"}]}'
実際にコーディングエージェントからつないだときのログです。
[strata] reading the prompt: 17,739 of 17,740 tokens, 1 s so far
[strata] thinking: 111 of budget 49152 (max 65536) tokens, 55.0 tok/s, 3 s
[strata] writing a tool call: bash: 377 of max 65536 tokens, 61.9 tok/s, 8 s
[strata] done: 444 tokens in 8 s (64.9 tok/s) (stop, cancel=False), expert cache 99.4% hit
expert cache のヒット率は 99.4% でした。4 枚の VRAM(96 GB)に、Q4 の experts(77 GB)がほぼ全部載っているため、CPU での計算がほとんど発生しません。
なお、ログの max 65536 は 1 回の応答で出力できる最大トークン数です。コンテキスト長(--max-context 262144)とは別物です。
Step 7. ベンチマーク
Strata には、簡易ベンチマーク bench.sh が付いています。--url を付けると、起動中のサーバーをそのまま測定できます。
cd ~/Strata
./bench.sh --url http://127.0.0.1:8000 --api-key dummy --long
--long を付けると、約 32K トークンのプロンプトも測定します。結果は次の通りです(中央値)。
| 項目 | 結果 | 範囲 |
|---|---|---|
| chat decode | 57.4 tok/s | 50.7 - 83.3 |
| chat 初回トークン | 0.48 s | 0.38 - 0.62 |
| 4K プロンプト読み込み | 808.6 tok/s | 706.8 - 835.4 |
| 4K 初回トークン | 5.00 s | 4.87 - 5.72 |
| 16K プロンプト読み込み | 1,329.5 tok/s | 1,327.0 - 1,336.6 |
| 16K 初回トークン | 12.12 s | 12.10 - 12.14 |
| 32K プロンプト読み込み | 1,437.0 tok/s | 1,392.5 - 1,448.1 |
| 32K 初回トークン | 22.38 s | 22.21 - 23.09 |
| agent キャッシュヒット率 | 70.1 % | 70.08 - 70.10 |
| agent ターンの初回トークン | 4.15 s | 3.50 - 4.99 |
| agent decode | 84.5 tok/s | 62.4 - 98.1 |
いくつか補足します。
- chat decode は、質問によって 50〜83 tok/s と幅があります。MTP の投機的デコードが当たりやすい内容ほど速くなります。
- agent は 6 ターンのツール呼び出しを模したテストで、前のターンのプロンプトを再利用(キャッシュヒット 70%)するため、ターンごとの待ち時間は約 4 秒に収まっています。
- プロンプトが長いほど読み込み速度が上がり、32K で約 1,400 tok/s でした。
レポートは bench/results/ 以下に Markdown で保存されます。ホーム名や IP アドレスは自動でマスクされるので、Strata の GitHub にそのまま共有することもできます。
他の人と比較できる標準ベンチマークは、次のコマンドで実行できます。
.venv/bin/python strata.py bench run
Step 8. 同時リクエスト数(--parallel)を 2 にする
8.1 いくつにするか
デフォルトでは、Strata はリクエストを 1 つずつ順番に処理します。--parallel N を付けると、最大 N 個のリクエストを同時にデコードできます。
ただし、タダではありません。
- 1 本増えるごとに、約 1 GB の VRAM を expert cache から使う
- 各リクエストが自分の KV cache を持つため、コンテキストが長いほど VRAM を多く使う
- 1 リクエストあたりの速度は少し落ちる
Step 7 のベンチマークから、次のように判断しました。
| 観点 | ベンチマークの結果 | 判断 |
|---|---|---|
| 1 本あたりの速度 | chat 57.4 tok/s、agent 84.5 tok/s | 1 本でも十分速い |
| expert cache | ヒット率 99.4%、VRAM は 4 枚とも約 23 GB 使用 | 余裕は大きくない |
| 長いプロンプト | 32K で初回トークンまで 22 秒 | 同時に読み込むと、お互いに待ち時間が延びる |
262K のコンテキストで 4 本にすると、KV cache の分だけ expert cache が削られ、ヒット率が下がって CPU 計算が増えるおそれがあります。
そこで、メインのエージェント + サブエージェント、または 2 人で同時に使う想定で、2 に設定しました。
| 使い方 | おすすめ |
|---|---|
| 1 人・1 エージェント | 1(デフォルト) |
| メイン + サブエージェント、2 人で同時利用 | 2 |
| 多人数で、短い会話が中心 | 4(実測してから) |
8.2 設定方法
同時処理数は、ポートやコンテキスト長と同じく Strata の設定ファイル(strata-unsloth-ud-q4_k_xl.json)に書かれます。デフォルトの 1 のときは、設定ファイルにこの項目自体がありません。
grep -n -i "parallel" ~/Strata/strata-unsloth-ud-q4_k_xl.json
# 何も表示されない = デフォルト(1)
setup を --parallel 2 付きで実行し直します。設定ファイルを書き直すだけなので、モデルの再ダウンロードやエンジンの再ビルドは発生しません。
cd ~/Strata
env -u CUDA_VISIBLE_DEVICES CUDA_DEVICE_ORDER=PCI_BUS_ID \
LD_PRELOAD=/opt/wsl-gpu-fix/libnvml_preinit.so \
./setup.sh --setup --no-start --family unsloth --model UD-Q4_K_XL \
--gguf-dir /root/Strata-data/models/UD-Q4_K_XL \
--gpus 3,2,1,0 --layer-split auto --context 262144 \
--host 0.0.0.0 --port 8000 --api-key dummy --parallel 2
設定ファイルに反映されたか確認します。
grep -n -i "parallel" ~/Strata/strata-unsloth-ud-q4_k_xl.json
50: "parallel": 2,
起動スクリプト(start-q4.sh)は変更不要です。ただし、設定ファイルはサーバーの起動時にしか読まれないので、必ず再起動します。
# 起動中のサーバーを Ctrl+C で止めてから
~/Strata/start-q4.sh
8.3 効果の確認
--clients 2 を付けて、2 本同時のリクエストも測定します。
./bench.sh --url http://127.0.0.1:8000 --api-key dummy --clients 2 --long
見るポイントは 2 つです。
- 2 本同時のときの合計スループットが、1 本のときより上がっているか
- サーバーログの
expert cache ... hitが 95% 以上を保っているか
8.4 本当に並列になっているか確認する
ここで 1 つハマりました。--clients 2 でベンチマークを実行したところ、冒頭に次の注意が出ました。
Note: the server runs 1 request(s) at a time (--batch), so 2 clients will partly wait their turn.
サーバーはまだ 1 本ずつ処理しており、--parallel 2 が反映されていませんでした。 実際、2 本同時に投げたときの合計スループットは 42.2 tok/s で、1 本だけのとき(chat decode 約 57 tok/s)より低くなっていました。2 本目が 1 本目の終わりを待っていたためです。
原因は単純で、setup で設定を書き換えたあと、サーバーを再起動し忘れていました。 起動中のサーバーは古い設定のまま動き続けます。
なお、--clients なしのベンチマークでは、この確認は表示されません。並列化の効果を見るときは、必ず --clients N を付けて実行し、この Note が出ていないことを確認するのがおすすめです。
設定ファイルに "parallel": 2 が書かれていれば、あとはサーバーを再起動するだけです。
8.5 parallel 1 と parallel 2 の比較
サーバーを再起動して、もう一度 --clients 2 で測りました。今度は Note が出ず、2 本が同時に処理されています。
| 項目(中央値) | parallel 1 | parallel 2 | 差 |
|---|---|---|---|
| 2 本同時の合計スループット | 42.2 tok/s | 112.3 tok/s | 約 2.7 倍 |
| chat decode | 57.4 tok/s | 56.9 tok/s | ほぼ同じ |
| chat 初回トークン | 0.48 s | 0.47 s | ほぼ同じ |
| 4K プロンプト読み込み | 808.6 tok/s | 665.0 tok/s | -18% |
| 16K プロンプト読み込み | 1,329.5 tok/s | 1,083.6 tok/s | -18% |
| 32K プロンプト読み込み | 1,437.0 tok/s | 1,179.6 tok/s | -18% |
| 32K 初回トークン | 22.38 s | 27.25 s | +4.9 s |
| agent ターンの初回トークン | 4.15 s | 5.50 s | +1.35 s |
| agent decode | 84.5 tok/s | 67.0 tok/s | -21% |
parallel 1 の列は Step 7 の結果です。2 本同時の合計スループットだけは、設定が反映されていなかったときの --clients 2 の値(実質 1 本ずつの処理)を使っています。なお、2 本同時の 1 ラウンド目は 64.6 tok/s と低く、2・3 ラウンド目は 112〜115 tok/s でした。
結果をまとめると、次のようになります。
- 2 本同時に投げたときの合計スループットは、約 2.7 倍に上がった
- 短い chat の decode 速度は、ほとんど変わらない
- その代わり、1 本あたりのプロンプト読み込みは約 18% 遅くなり、agent の decode も約 21% 落ちた
Strata の案内にある「1 リクエストあたり 10〜25% 遅くなる」とほぼ一致します。
8.6 どちらを使うか
| 使い方 | おすすめ | 理由 |
|---|---|---|
| 1 人・1 エージェントで長いコンテキストを使う | parallel 1 | 1 本あたりの読み込みと decode が速い |
| メイン + サブエージェント、2 人で同時利用 | parallel 2 | 待ち行列ができず、合計スループットが約 2.7 倍 |
個人的には、同時に投げることが多いなら parallel 2、ほぼ 1 本ずつなら parallel 1 がよいと思います。
Step 9. ドラフター(MTP / DFlash2)を比較する
9.1 Strata のドラフターについて
Strata は、投機的デコード(ドラフターが先に数トークンを予測し、本体がまとめて検証する)で decode を速くしています。ドラフターは次の 2 種類から 1 回の起動につき 1 つだけ選びます。
| ドラフター | 中身 | VRAM(Strata の見積もり) |
|---|---|---|
| MTP | Qwen3.8-Flash-Next に内蔵されている MTP 層 | 約 1,082 MiB |
| DFlash2 | Inco AI の block diffusion 型ドラフター(incoai/Qwen3.8-Flash-Next-DFlash2) | 約 890 MiB |
検証は本体が行うので、どちらを使っても出力の品質は変わりません。変わるのは速度だけです。
設定は auto、mtp、dflash2、off から選べます。私の環境では、auto のままでも起動ログに次のように出ていました。
[strata] Drafting: MTP (the DFlash2 drafter isn't downloaded yet)
setup は DFlash2 のドラフターをダウンロードしないため、Auto が DFlash2 を選んでも、ファイルがなくて MTP にフォールバックしていたわけです。
なお、Strata には自前で微調整した 0.34 GB の DFlash2(strata1 版)もありますが、strata_control/drafting.py を読むと、配布対象は Metal(Mac)エンジンだけでした(TUNED_BACKEND = "metal")。CUDA では、Hugging Face のオリジナル版が使われます。
9.2 DFlash2 のダウンロード
まず状態を確認します。
cd ~/Strata
CFG=strata-unsloth-ud-q4_k_xl.json
.venv/bin/python strata.py drafting plan --config $CFG --mode dflash2
The DFlash2 drafter is 1.2 GB to download (it is packed to 0.52 GB for the engine and the download is removed), from incoai/Qwen3.8-Flash-Next-DFlash2, Apache-2.0. It needs about 0.9 GB of graphics memory, less than the MTP's layer, which is not loaded beside it.
ダウンロードして、エンジン用に変換します。Hugging Face が遅い環境では、HF_ENDPOINT でミラーを指定できます。
.venv/bin/python strata.py drafting fetch --config $CFG --mode dflash2
The DFlash2 drafter is ready: /root/Strata-data/dflash2/qwen3.8-flash-next-dflash2.q4_0.pack
9.3 DFlash2 に切り替える
設定ファイルに "drafting": "dflash2" を追加します。元に戻せるように、先にバックアップを取ります。
cp $CFG /tmp/$CFG.bak
python3 - <<'EOF'
import json; p="strata-unsloth-ud-q4_k_xl.json"
d=json.load(open(p)); d["drafting"]="dflash2"; json.dump(d,open(p,"w"),indent=1)
EOF
grep -n '"drafting"\|"parallel"' $CFG
サーバーを再起動すると、起動ログで DFlash2 に切り替わったことを確認できます。
[strata] drafting: DFlash2 alone (--draft dflash2, --draft-conf 0.35)
--draft-conf などのドラフター関連の引数は、起動のたびに Strata が自動で付け直します。設定ファイルの args に手で書いても上書きされるので注意してください。
9.4 結果
同じ条件(parallel 2、--clients 2 --long)で測りました。
./bench.sh --url http://127.0.0.1:8000 --api-key dummy --clients 2 --long
| 項目(中央値) | MTP | DFlash2 | 差 |
|---|---|---|---|
| chat decode | 56.9 tok/s | 59.6 tok/s | +4.7% |
| agent decode | 67.0 tok/s | 49.3 tok/s | -26% |
| 2 本同時の合計スループット | 112.3 tok/s | 104.2 tok/s | -7% |
| 4K プロンプト読み込み | 665.0 tok/s | 671.4 tok/s | ほぼ同じ |
| 16K プロンプト読み込み | 1,083.6 tok/s | 1,062.4 tok/s | -2% |
| 32K プロンプト読み込み | 1,179.6 tok/s | 1,141.1 tok/s | -3% |
| agent ターンの初回トークン | 5.50 s | 5.36 s | ほぼ同じ |
- chat は少し速くなり、決まった言い回しの質問(q1)では 100 tok/s 前後まで出ました
- しかし、エージェント用途の decode は 26% 遅くなりました(回ごとの幅も 24.7〜60.4 tok/s と大きい)
- プロンプトの読み込みでは、ドラフターは使われないので、差は測定のばらつき程度です
ネット上では「DFlash2 のほうが MTP より速い」という報告が多いですが、私の構成(4×RTX 4090 のレイヤー分割、オリジナル版のドラフター、--draft-conf 0.35)では、メインの用途であるエージェントで MTP のほうが速いという結果になりました。Strata の作者も「DFlash2 がどのカードでも勝つとは限らない」としており、カードやワークロードで結果が変わるようです。
9.5 MTP に戻す
メインの用途がエージェントなので、MTP に戻しました。
cp /tmp/$CFG.bak ~/Strata/$CFG
# サーバーを Ctrl+C で止めてから
~/Strata/start-q4.sh
DFlash2 を試すときは、自分のワークロードに近いベンチマーク(特に agent decode)で比較してから決めるのがおすすめです。
ハマりどころまとめ
| 症状 | 原因 | 対処 |
|---|---|---|
nvcc で rsqrt の宣言衝突 |
CUDA 13.0 と Ubuntu 26.04 の glibc の不一致 | CUDA 13.3 に上げる |
CMake が CUDA20 を認識しない |
conda / pip の古い cmake が PATH の先頭にある |
conda deactivate、古い cmake を退避 |
| ビルド済みエンジンのダウンロードが遅い・404 | ソースのバージョンに対応するビルド済みエンジンがない |
--build で手元でビルド |
| 特定の GPU だけ error 46、全体で error 2 | WSL2 マルチ GPU の既知の問題 | NVML を先に初期化する .so を LD_PRELOAD
|
CUDA_VISIBLE_DEVICES が効かない |
Strata が --gpus から自分で設定する |
--gpus に物理番号を指定 |
| UD-Q4_K_XL のサイズ不一致エラー | ModelScope は v3.1 の新ファイル、setup は旧ファイルを pin | 手動でダウンロードして --gguf-dir
|
| 読み込み中に WSL ごと落ちる / expert cache の確保失敗 | Windows の仮想メモリ不足 |
.wslconfig の memory を下げ、ページファイルを増やす |
context_length_exceeded |
--context 65536 で設定していた |
--context 262144 で setup し直す |
Auto なのに Drafting: MTP (the DFlash2 drafter isn't downloaded yet)
|
setup は DFlash2 をダウンロードしない |
strata.py drafting fetch で取得(ただし速いとは限らない) |
--clients 2 で runs 1 request(s) at a time と出る |
setup で --parallel 2 にしたあと、サーバーを再起動していない |
start-q4.sh を再起動する |
まとめ
| ポイント | 内容 |
|---|---|
| 構成 | 4×RTX 4090 + Strata + UD-Q4_K_XL |
| 結果 | expert cache 99.4% ヒット、agent decode 84.5 tok/s、コンテキスト 262K |
| 重みの入手 | ModelScope から v3.1 のファイルを手動ダウンロードして --gguf-dir
|
| 同時リクエスト |
--parallel 2 で 2 本同時の合計スループットが約 2.7 倍(1 本あたりは約 2 割遅くなる) |
| ドラフター | DFlash2 は chat で +4.7%、agent で -26%。エージェント用途なので MTP を採用 |
| WSL2 の注意点 | NVML の先行初期化、Windows の仮想メモリ、GPU は物理番号で指定 |
Strata は、大きな VRAM がなくても動かせることが売りのエンジンです。ただ、4×RTX 4090 のように VRAM が十分ある環境では、Q4 の experts がほぼ全部 GPU に載り、CPU に頼らない高速な推論ができました。
125B クラスの MoE を手元のマシンで実用的な速度で動かしたい方は、是非お試しください!