2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

4×RTX 4090(WSL2)に Strata で Qwen3.8-Flash-Next をデプロイしてみた【ビルドからベンチマークまで】

2
Last updated at Posted at 2026-11-10

初めに

最近、125B の MoE モデル Qwen3.8-Flash-Next をローカルで動かす話題をよく見かけます。

その中でも、Qwen3.8-Flash-Next 専用の推論エンジン Strata は、「GPU + システム RAM + CPU」を組み合わせて巨大な MoE を一般的な PC で動かせる点が特徴です。

今回は、手元の 4×RTX 4090 マシン(WSL2)に Strata をデプロイしました。ソースの取得、エンジンのビルド、Q4 量子化モデルのダウンロード、OpenAI 互換 API としての公開、ベンチマークまで、実際に打ったコマンドの順に step by step でまとめます。

対象読者は、マルチ GPU 環境でローカル LLM を動かしたい技術者です。

結論

4×RTX 4090 + UD-Q4_K_XL の組み合わせで、次のような結果になりました。

- expert cache ヒット率 99.4%(77GB の experts がほぼ全部 VRAM に載る)
- チャットの decode       : 57.4 tok/s(中央値)
- エージェント 6 ターン    : 84.5 tok/s(中央値、MTP 投機的デコード込み)
- 32K プロンプトの読み込み : 1,437 tok/s(初回トークンまで 22.4 秒)
- コンテキスト長           : 262,144 トークン

個人的には、エージェント用途のローカルモデルとして十分実用的な速度だと思います。

ただし、WSL2 + 4 枚構成では、いくつかハマりどころがありました。それも含めて記録しておきます。

環境

項目 内容
マシン Lenovo ThinkStation PX
CPU Intel Xeon Gold 6430(AVX-512)
メモリ 256 GB(DDR5 32GB × 8)
GPU NVIDIA GeForce RTX 4090 × 4(PCIe 4.0 x16、NVLink なし)
Windows ドライバ 621.14(CUDA UMD 13.5)
WSL2 Ubuntu 26.04 / gcc 15.2 / cmake 4.2.3
CUDA Toolkit 13.3
Strata v0.1.59.1(ソースからビルド)
モデル unsloth/Qwen3.8-Flash-Next-GGUF の UD-Q4_K_XL

GPU の PCI Bus ID は次の通りです。以降、CUDA_DEVICE_ORDER=PCI_BUS_ID を前提にします。

index, pci.bus_id
0, 00000000:27:00.0
1, 00000000:38:00.0
2, 00000000:98:00.0
3, 00000000:C8:00.0

全体の流れ

Step 0. 事前準備(WSL のメモリ設定、CUDA Toolkit、ビルドツール)
Step 1. 4 枚の GPU が CUDA から使えるか確認
Step 2. Strata のソースを取得
Step 3. Q4 の重みを ModelScope からダウンロード
Step 4. setup.sh でビルド・設定
Step 5. 起動スクリプトを作って起動
Step 6. 動作確認
Step 7. ベンチマーク
Step 8. 同時リクエスト数(--parallel)を 2 にする
Step 9. ドラフター(MTP / DFlash2)を比較する

Step 0. 事前準備

0.1 WSL のメモリ上限と Windows のページファイル

Strata は experts をシステム RAM に載せ、その一部を GPU 用に Pinned します。このとき、Windows 側の仮想メモリ(RAM + ページファイル)が足りないと、WSL ごと落ちます。

実際、最初は .wslconfig に memory=232GB を設定していましたが、モデル読み込み中に WSL が落ち、Windows のイベントログには「仮想メモリ不足」が記録されていました。vmmemWSL が上限を超えて約 245 GiB をコミットしていたためです。

%UserProfile%\.wslconfig は次のようにしました。

[wsl2]
memory=200GB
swap=32GB

あわせて、Windows のページファイルを増やします。管理者権限の PowerShell で実行します。

$cs = Get-CimInstance Win32_ComputerSystem
Set-CimInstance -InputObject $cs -Property @{AutomaticManagedPagefile=$false}
New-CimInstance -ClassName Win32_PageFileSetting -Property @{Name='D:\pagefile.sys'; InitialSize=[uint32]65536; MaximumSize=[uint32]196608}
Restart-Computer

0.2 CUDA Toolkit 13.3

Ubuntu 26.04 + CUDA 13.0 の組み合わせでは、nvcc が次のエラーで止まりました。

error: exception specification is incompatible with that of previous function "rsqrt"

新しい glibc と CUDA 13.0 のヘッダの宣言が衝突するためです。CUDA 13.3 は Ubuntu 26.04 を正式にサポートしているので、13.3 に上げたら解消しました。

WSL では、必ず wsl-ubuntu リポジトリから cuda-toolkit-13-3 だけを入れます。cuda や cuda-drivers は Linux 用ドライバまで入れようとするので、WSL では使いません。

cd /tmp
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-3

~/.bashrc に PATH を設定します。

export CUDA_HOME=/usr/local/cuda-13.3
export PATH="$CUDA_HOME/bin:$PATH"
export LD_LIBRARY_PATH="$CUDA_HOME/lib64:$LD_LIBRARY_PATH"
source ~/.bashrc
which nvcc && nvcc --version | tail -2

0.3 ビルドツール(古い cmake に注意)

Strata のビルドには、新しい cmake が必要です。私の環境では、次の 2 つの古い cmake が PATH の先頭にあり、CUDA20 方言を認識できずにビルドが失敗しました。

場所 中身
/root/miniconda3/bin/cmake conda base 環境の cmake
/usr/local/bin/cmake 以前 pip で入れた cmake 3.25

conda の自動起動を止め、pip 版の cmake / ninja を退避します。

conda deactivate
conda config --set auto_activate_base false

sudo apt-get install -y cmake ninja-build
mv /usr/local/bin/cmake /usr/local/bin/cmake.pip-old
mv /usr/local/bin/ninja /usr/local/bin/ninja.pip-old
hash -r

which cmake ninja && cmake --version   # /usr/bin/cmake、4.x であること

Step 1. 4 枚の GPU が CUDA から使えるか確認

nvidia-smi で 4 枚見えていても、CUDA から使えるとは限りません。

私の環境では、GPU 2(bus 98)だけが cudaSetDevice() で error 46(busy or unavailable)になり、GPU 2 を含めると cudaGetDeviceCount() 自体が error 2(out of memory)で失敗しました。

これは WSL2 のマルチ GPU 環境の既知の問題で、CUDA より先に NVML を初期化すると回避できます。PyTorch 系(vLLM / SGLang)で問題が出にくいのは、内部で先に NVML を呼んでいるためです。詳しい切り分けは別記事にまとめています。

対策として、NVML を先に初期化するだけの共有ライブラリを作ります。

mkdir -p ~/gpucheck && cd ~/gpucheck
cat > nvml_preinit.c <<'EOF'
#include <nvml.h>

// WSL2 マルチ GPU 対策: CUDA より先に NVML を初期化する
__attribute__((constructor)) static void nvml_preinit(void) {
    unsigned n;
    if (nvmlInit_v2() == NVML_SUCCESS) nvmlDeviceGetCount_v2(&n);
}
EOF

gcc -shared -fPIC -O2 -I/usr/local/cuda-13.3/include nvml_preinit.c -o libnvml_preinit.so \
    -L/usr/lib/wsl/lib -l:libnvidia-ml.so.1

sudo mkdir -p /opt/wsl-gpu-fix
sudo cp libnvml_preinit.so nvml_preinit.c /opt/wsl-gpu-fix/

確認用に、各 GPU で 20 GiB を確保・書き込み・検証するプログラム(gpucheck.cu、別記事に全文あり)を実行しました。

CUDA_VISIBLE_DEVICES=3,2,1,0 LD_PRELOAD=/opt/wsl-gpu-fix/libnvml_preinit.so ./gpucheck
cudaGetDeviceCount = 4
dev 0: NVIDIA GeForce RTX 4090  bus c8  sm_89
  20GiB alloc+kernel+verify OK | H2D 24.9 GB/s  D2H 26.2 GB/s
dev 1: NVIDIA GeForce RTX 4090  bus 98  sm_89
  20GiB alloc+kernel+verify OK | H2D 25.1 GB/s  D2H 26.3 GB/s
dev 2: NVIDIA GeForce RTX 4090  bus 38  sm_89
  20GiB alloc+kernel+verify OK | H2D 25.0 GB/s  D2H 26.2 GB/s
dev 3: NVIDIA GeForce RTX 4090  bus 27  sm_89
  20GiB alloc+kernel+verify OK | H2D 25.0 GB/s  D2H 26.2 GB/s
RESULT: ALL OK

4 枚とも、PCIe 4.0 x16 相当の帯域が出ています。ネイティブ Linux や、1 枚目から問題なく動く環境では、この Step は不要です。

Step 2. Strata のソースを取得

cd ~
git clone --depth 1 https://github.com/Niko1221/Strata.git
cd Strata

リポジトリは履歴が長いので、--depth 1 で最新だけ取得するのがおすすめです。

Step 3. Q4 の重みを ModelScope からダウンロード

3.1 なぜ手動でダウンロードするのか

Strata の setup は、モデルを自動でダウンロードできます。ModelScope からも取得でき、速度は約 117 MB/s 出ていました。

ただし、UD-Q4_K_XL では次のエラーで止まりました。

[X]  Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf is 10,946,618 bytes on www.modelscope.cn, not the pinned 10,946,624
     update Strata (the file there has changed since this version pinned it)

setup.py を読むと、原因が分かりました。

ファイルセット 日付 1〜4 番目の分割ファイルのサイズ
UNSLOTH_SHARDS(setup が自動で取得) 2026-09-30 10946624 / 49859583136 / 49376141504 / 12087983520
UNSLOTH_Q4_V31_SHARDS(Dynamic v3.1) 2026-11-04 10946618 / 49720539552 / 32803030176 / 28800138432
  • Unsloth が 2026-11-04 にリポジトリを再公開し、UD-Q4_K_XL の分割の仕方が変わった
  • ModelScope(と Hugging Face の main)は、すでに新しいファイルセットになっている
  • setup の自動ダウンロードは古いセットを固定(pin)しているので、サイズが合わない
  • 新しいセットは、--gguf-dir で手元のファイルを渡したときだけ、サイズと SHA-256 で認識される

ModelScope と Hugging Face の API でサイズと SHA-256 を比較したところ、4 ファイルとも完全に一致していました。なお、2 つのセットは分割位置が違うため、混ぜて使うことはできません。

3.2 ダウンロード

modelscope CLI 用に venv を作ります。

python3 -m venv ~/ms-venv
~/ms-venv/bin/pip install -U modelscope

--local_dir の下に UD-Q4_K_XL/ ができるので、モデル置き場を指定します。

~/ms-venv/bin/modelscope download --model unsloth/Qwen3.8-Flash-Next-GGUF \
  --include "UD-Q4_K_XL/*.gguf" --local_dir /root/Strata-data/models

ls -l /root/Strata-data/models/UD-Q4_K_XL/
Qwen3.8-Flash-Next-UD-Q4_K_XL-00001-of-00004.gguf     10946618
Qwen3.8-Flash-Next-UD-Q4_K_XL-00002-of-00004.gguf  49720539552
Qwen3.8-Flash-Next-UD-Q4_K_XL-00003-of-00004.gguf  32803030176
Qwen3.8-Flash-Next-UD-Q4_K_XL-00004-of-00004.gguf  28800138432

合計約 111 GB です。

Step 4. setup.sh でビルド・設定

4.1 setup の実行

cd ~/Strata
env -u CUDA_VISIBLE_DEVICES CUDA_DEVICE_ORDER=PCI_BUS_ID \
  LD_PRELOAD=/opt/wsl-gpu-fix/libnvml_preinit.so \
  ./setup.sh --setup --no-start --build --source modelscope \
  --family unsloth --model UD-Q4_K_XL \
  --gguf-dir /root/Strata-data/models/UD-Q4_K_XL \
  --gpus 3,2,1,0 --layer-split auto --context 262144 \
  --host 0.0.0.0 --port 8000 --api-key dummy

主なオプションは次の通りです。

オプション 意味
--build ビルド済みエンジンを探さず、手元でコンパイルする
--source modelscope MTP ドラフト層などを ModelScope から取得する
--gguf-dir Step 3 でダウンロードしたファイルを使う
--gpus 3,2,1,0 使う GPU(物理番号で指定)
--context 262144 コンテキスト長(ネイティブの上限)
--host 0.0.0.0 --port 8000 LAN から OpenAI 互換 API にアクセスできるようにする
--no-start 設定だけして、起動はしない

注意点が 1 つあります。 Strata は --gpus の値から CUDA_VISIBLE_DEVICES を自分で設定するため、外から渡した CUDA_VISIBLE_DEVICES は上書きされます。そのため env -u CUDA_VISIBLE_DEVICES で外側の値を消し、GPU は --gpus に物理番号で指定します。

最初は CUDA_VISIBLE_DEVICES=3,1,0 と --gpus 0,1,2 を組み合わせていましたが、Strata が CUDA_VISIBLE_DEVICES=0,1,2 に書き換えたため、問題の GPU 2 が混ざって起動に失敗しました。

4.2 setup の流れ

setup は、Step 1 から順に進みます。

Step 1: PC のチェック

  Your NVIDIA GPUs:
    GPU 0: NVIDIA GeForce RTX 4090, 24 GB VRAM - can be used
    GPU 1: NVIDIA GeForce RTX 4090, 24 GB VRAM - can be used
    GPU 2: NVIDIA GeForce RTX 4090, 24 GB VRAM - can be used
    GPU 3: NVIDIA GeForce RTX 4090, 24 GB VRAM - can be used
  [ok] RAM: 228 GB
  [ok] CPU: Intel(R) Xeon(R) Gold 6430 (AVX-512)
  [ok] PCIe: 4.0 x16

Step 2: 選択項目

対話形式で聞かれるので、次のように答えました。

質問 回答
KV cache precision 1(8-bit、公開されている数値はすべてこれで測定)
Images y(画像入力を有効化、VRAM を約 1.4 GB 確保)

Step 3: Python パッケージ

.venv に numpy などが入ります。

Step 4: エンジンのビルド

  [ok] build tools present (CUDA 13.3)
  Compiling the Strata engine for your GPU (10-20 minutes, once) ...
  > /usr/bin/cmake -G Ninja ... -DCMAKE_CUDA_ARCHITECTURES=89 ...

途中で warning #20280-D や warning #177-D が大量に出ますが、警告なので問題ありません。

[275/275] Linking CXX executable bin/strata-vision
  [ok] engine compiled: /root/Strata/engine/strata

Step 5 以降: モデルの確認と MTP ドラフト層

--gguf-dir のファイルが SHA-256 で検証されます。その後、MTP(投機的デコード用のドラフト層、約 5.2 GB)が ModelScope からダウンロードされ、GGUF に変換されます。

  MTP draft layer:   5.21 / 5.21 GB (100%)
  > /root/Strata/.venv/bin/python /root/Strata/tools/mtp_pack.py --src /root/Strata-data/mtp ...

Step 7: 起動スクリプトの作成

=== Step 7: writing the start script ===
  [ok] WSL: KV streaming off (the driver pins only about 1 GB of RAM); the KV cache stays in VRAM
  [ok] layer split across GPUs [3, 2, 1, 0] (auto)

WSL では Pinned できるメモリが少ないため、KV cache は VRAM に置かれます。

最後に、同時リクエスト数(--parallel)の案内が出ます。ここではデフォルトの 1(順番に処理)のままにして、ベンチマークの結果を見てから Step 8 で 2 に変更しました。

Step 5. 起動スクリプトを作って起動

毎回 env -u ... と LD_PRELOAD を打つのは面倒なので、起動スクリプトにします。

cat > ~/Strata/start-q4.sh <<'EOF'
#!/usr/bin/env bash
# Strata + Qwen3.8-Flash-Next UD-Q4_K_XL on 4x RTX 4090 (WSL2)
set -euo pipefail

STRATA_DIR="${STRATA_DIR:-$HOME/Strata}"
PRELOAD="${PRELOAD:-/opt/wsl-gpu-fix/libnvml_preinit.so}"   # WSL マルチ GPU 対策
PORT="${PORT:-8000}"

cd "$STRATA_DIR"

[ -f "$PRELOAD" ] || { echo "ERROR: $PRELOAD not found"; exit 1; }

RUN="$(ls run-unsloth-*q4_k_xl*.sh 2>/dev/null | head -1 || true)"
[ -n "$RUN" ] || { echo "ERROR: Q4 の起動スクリプトがありません。先に setup を実行してください"; exit 1; }

if ss -ltn "sport = :$PORT" | grep -q LISTEN; then
  echo "ERROR: port $PORT is already in use"
  exit 1
fi

echo "Starting $RUN on 0.0.0.0:$PORT (GPUs 3,2,1,0) ..."

# Strata は --gpus から CUDA_VISIBLE_DEVICES を自分で設定するので、外側の値は消す
exec env -u CUDA_VISIBLE_DEVICES CUDA_DEVICE_ORDER=PCI_BUS_ID LD_PRELOAD="$PRELOAD" "./$RUN" "$@"
EOF
chmod +x ~/Strata/start-q4.sh

tmux の中で起動しておくと便利です。

tmux new -s strata
~/Strata/start-q4.sh

初回は experts(数十 GB)を RAM に読み込むため、1〜3 分ほど PC の反応が重くなります。

起動後の VRAM は、4 枚ともほぼ使い切っていました。

|   0  NVIDIA GeForce RTX 4090  |  00000000:27:00.0 |  23974MiB /  24564MiB |
|   1  NVIDIA GeForce RTX 4090  |  00000000:38:00.0 |  23126MiB /  24564MiB |
|   2  NVIDIA GeForce RTX 4090  |  00000000:98:00.0 |  23126MiB /  24564MiB |
|   3  NVIDIA GeForce RTX 4090  |  00000000:C8:00.0 |  23292MiB /  24564MiB |

空いている VRAM は、ほぼすべて expert cache に使われます。

Step 6. 動作確認

OpenAI 互換 API として使えます。Strata はリクエストの model 名を問わないので、クライアント側で好きな名前を指定できます。

curl http://xxx.xxx.xxx.xxx:8000/v1/chat/completions \
  -H "Authorization: Bearer dummy" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-5.5","messages":[{"role":"user","content":"こんにちは"}]}'

実際にコーディングエージェントからつないだときのログです。

[strata] reading the prompt: 17,739 of 17,740 tokens, 1 s so far
[strata] thinking: 111 of budget 49152 (max 65536) tokens, 55.0 tok/s, 3 s
[strata] writing a tool call: bash: 377 of max 65536 tokens, 61.9 tok/s, 8 s
[strata] done: 444 tokens in 8 s (64.9 tok/s) (stop, cancel=False), expert cache 99.4% hit

expert cache のヒット率は 99.4% でした。4 枚の VRAM(96 GB)に、Q4 の experts(77 GB)がほぼ全部載っているため、CPU での計算がほとんど発生しません。

なお、ログの max 65536 は 1 回の応答で出力できる最大トークン数です。コンテキスト長(--max-context 262144)とは別物です。

Step 7. ベンチマーク

Strata には、簡易ベンチマーク bench.sh が付いています。--url を付けると、起動中のサーバーをそのまま測定できます。

cd ~/Strata
./bench.sh --url http://127.0.0.1:8000 --api-key dummy --long

--long を付けると、約 32K トークンのプロンプトも測定します。結果は次の通りです(中央値)。

項目 結果 範囲
chat decode 57.4 tok/s 50.7 - 83.3
chat 初回トークン 0.48 s 0.38 - 0.62
4K プロンプト読み込み 808.6 tok/s 706.8 - 835.4
4K 初回トークン 5.00 s 4.87 - 5.72
16K プロンプト読み込み 1,329.5 tok/s 1,327.0 - 1,336.6
16K 初回トークン 12.12 s 12.10 - 12.14
32K プロンプト読み込み 1,437.0 tok/s 1,392.5 - 1,448.1
32K 初回トークン 22.38 s 22.21 - 23.09
agent キャッシュヒット率 70.1 % 70.08 - 70.10
agent ターンの初回トークン 4.15 s 3.50 - 4.99
agent decode 84.5 tok/s 62.4 - 98.1

いくつか補足します。

  • chat decode は、質問によって 50〜83 tok/s と幅があります。MTP の投機的デコードが当たりやすい内容ほど速くなります。
  • agent は 6 ターンのツール呼び出しを模したテストで、前のターンのプロンプトを再利用(キャッシュヒット 70%)するため、ターンごとの待ち時間は約 4 秒に収まっています。
  • プロンプトが長いほど読み込み速度が上がり、32K で約 1,400 tok/s でした。

レポートは bench/results/ 以下に Markdown で保存されます。ホーム名や IP アドレスは自動でマスクされるので、Strata の GitHub にそのまま共有することもできます。

他の人と比較できる標準ベンチマークは、次のコマンドで実行できます。

.venv/bin/python strata.py bench run

Step 8. 同時リクエスト数(--parallel)を 2 にする

8.1 いくつにするか

デフォルトでは、Strata はリクエストを 1 つずつ順番に処理します。--parallel N を付けると、最大 N 個のリクエストを同時にデコードできます。

ただし、タダではありません。

  • 1 本増えるごとに、約 1 GB の VRAM を expert cache から使う
  • 各リクエストが自分の KV cache を持つため、コンテキストが長いほど VRAM を多く使う
  • 1 リクエストあたりの速度は少し落ちる

Step 7 のベンチマークから、次のように判断しました。

観点 ベンチマークの結果 判断
1 本あたりの速度 chat 57.4 tok/s、agent 84.5 tok/s 1 本でも十分速い
expert cache ヒット率 99.4%、VRAM は 4 枚とも約 23 GB 使用 余裕は大きくない
長いプロンプト 32K で初回トークンまで 22 秒 同時に読み込むと、お互いに待ち時間が延びる

262K のコンテキストで 4 本にすると、KV cache の分だけ expert cache が削られ、ヒット率が下がって CPU 計算が増えるおそれがあります。

そこで、メインのエージェント + サブエージェント、または 2 人で同時に使う想定で、2 に設定しました。

使い方 おすすめ
1 人・1 エージェント 1(デフォルト)
メイン + サブエージェント、2 人で同時利用 2
多人数で、短い会話が中心 4(実測してから)

8.2 設定方法

同時処理数は、ポートやコンテキスト長と同じく Strata の設定ファイル(strata-unsloth-ud-q4_k_xl.json)に書かれます。デフォルトの 1 のときは、設定ファイルにこの項目自体がありません。

grep -n -i "parallel" ~/Strata/strata-unsloth-ud-q4_k_xl.json
# 何も表示されない = デフォルト(1)

setup を --parallel 2 付きで実行し直します。設定ファイルを書き直すだけなので、モデルの再ダウンロードやエンジンの再ビルドは発生しません。

cd ~/Strata
env -u CUDA_VISIBLE_DEVICES CUDA_DEVICE_ORDER=PCI_BUS_ID \
  LD_PRELOAD=/opt/wsl-gpu-fix/libnvml_preinit.so \
  ./setup.sh --setup --no-start --family unsloth --model UD-Q4_K_XL \
  --gguf-dir /root/Strata-data/models/UD-Q4_K_XL \
  --gpus 3,2,1,0 --layer-split auto --context 262144 \
  --host 0.0.0.0 --port 8000 --api-key dummy --parallel 2

設定ファイルに反映されたか確認します。

grep -n -i "parallel" ~/Strata/strata-unsloth-ud-q4_k_xl.json
50: "parallel": 2,

起動スクリプト(start-q4.sh)は変更不要です。ただし、設定ファイルはサーバーの起動時にしか読まれないので、必ず再起動します。

# 起動中のサーバーを Ctrl+C で止めてから
~/Strata/start-q4.sh

8.3 効果の確認

--clients 2 を付けて、2 本同時のリクエストも測定します。

./bench.sh --url http://127.0.0.1:8000 --api-key dummy --clients 2 --long

見るポイントは 2 つです。

  • 2 本同時のときの合計スループットが、1 本のときより上がっているか
  • サーバーログの expert cache ... hit が 95% 以上を保っているか

8.4 本当に並列になっているか確認する

ここで 1 つハマりました。--clients 2 でベンチマークを実行したところ、冒頭に次の注意が出ました。

Note: the server runs 1 request(s) at a time (--batch), so 2 clients will partly wait their turn.

サーバーはまだ 1 本ずつ処理しており、--parallel 2 が反映されていませんでした。 実際、2 本同時に投げたときの合計スループットは 42.2 tok/s で、1 本だけのとき(chat decode 約 57 tok/s)より低くなっていました。2 本目が 1 本目の終わりを待っていたためです。

原因は単純で、setup で設定を書き換えたあと、サーバーを再起動し忘れていました。 起動中のサーバーは古い設定のまま動き続けます。

なお、--clients なしのベンチマークでは、この確認は表示されません。並列化の効果を見るときは、必ず --clients N を付けて実行し、この Note が出ていないことを確認するのがおすすめです。

設定ファイルに "parallel": 2 が書かれていれば、あとはサーバーを再起動するだけです。

8.5 parallel 1 と parallel 2 の比較

サーバーを再起動して、もう一度 --clients 2 で測りました。今度は Note が出ず、2 本が同時に処理されています。

項目(中央値) parallel 1 parallel 2 差
2 本同時の合計スループット 42.2 tok/s 112.3 tok/s 約 2.7 倍
chat decode 57.4 tok/s 56.9 tok/s ほぼ同じ
chat 初回トークン 0.48 s 0.47 s ほぼ同じ
4K プロンプト読み込み 808.6 tok/s 665.0 tok/s -18%
16K プロンプト読み込み 1,329.5 tok/s 1,083.6 tok/s -18%
32K プロンプト読み込み 1,437.0 tok/s 1,179.6 tok/s -18%
32K 初回トークン 22.38 s 27.25 s +4.9 s
agent ターンの初回トークン 4.15 s 5.50 s +1.35 s
agent decode 84.5 tok/s 67.0 tok/s -21%

parallel 1 の列は Step 7 の結果です。2 本同時の合計スループットだけは、設定が反映されていなかったときの --clients 2 の値(実質 1 本ずつの処理)を使っています。なお、2 本同時の 1 ラウンド目は 64.6 tok/s と低く、2・3 ラウンド目は 112〜115 tok/s でした。

結果をまとめると、次のようになります。

  • 2 本同時に投げたときの合計スループットは、約 2.7 倍に上がった
  • 短い chat の decode 速度は、ほとんど変わらない
  • その代わり、1 本あたりのプロンプト読み込みは約 18% 遅くなり、agent の decode も約 21% 落ちた

Strata の案内にある「1 リクエストあたり 10〜25% 遅くなる」とほぼ一致します。

8.6 どちらを使うか

使い方 おすすめ 理由
1 人・1 エージェントで長いコンテキストを使う parallel 1 1 本あたりの読み込みと decode が速い
メイン + サブエージェント、2 人で同時利用 parallel 2 待ち行列ができず、合計スループットが約 2.7 倍

個人的には、同時に投げることが多いなら parallel 2、ほぼ 1 本ずつなら parallel 1 がよいと思います。

Step 9. ドラフター(MTP / DFlash2)を比較する

9.1 Strata のドラフターについて

Strata は、投機的デコード(ドラフターが先に数トークンを予測し、本体がまとめて検証する)で decode を速くしています。ドラフターは次の 2 種類から 1 回の起動につき 1 つだけ選びます。

ドラフター 中身 VRAM(Strata の見積もり)
MTP Qwen3.8-Flash-Next に内蔵されている MTP 層 約 1,082 MiB
DFlash2 Inco AI の block diffusion 型ドラフター(incoai/Qwen3.8-Flash-Next-DFlash2) 約 890 MiB

検証は本体が行うので、どちらを使っても出力の品質は変わりません。変わるのは速度だけです。

設定は auto、mtp、dflash2、off から選べます。私の環境では、auto のままでも起動ログに次のように出ていました。

[strata] Drafting: MTP (the DFlash2 drafter isn't downloaded yet)

setup は DFlash2 のドラフターをダウンロードしないため、Auto が DFlash2 を選んでも、ファイルがなくて MTP にフォールバックしていたわけです。

なお、Strata には自前で微調整した 0.34 GB の DFlash2(strata1 版)もありますが、strata_control/drafting.py を読むと、配布対象は Metal(Mac)エンジンだけでした(TUNED_BACKEND = "metal")。CUDA では、Hugging Face のオリジナル版が使われます。

9.2 DFlash2 のダウンロード

まず状態を確認します。

cd ~/Strata
CFG=strata-unsloth-ud-q4_k_xl.json
.venv/bin/python strata.py drafting plan --config $CFG --mode dflash2
The DFlash2 drafter is 1.2 GB to download (it is packed to 0.52 GB for the engine and the download is removed), from incoai/Qwen3.8-Flash-Next-DFlash2, Apache-2.0. It needs about 0.9 GB of graphics memory, less than the MTP's layer, which is not loaded beside it.

ダウンロードして、エンジン用に変換します。Hugging Face が遅い環境では、HF_ENDPOINT でミラーを指定できます。

.venv/bin/python strata.py drafting fetch --config $CFG --mode dflash2
The DFlash2 drafter is ready: /root/Strata-data/dflash2/qwen3.8-flash-next-dflash2.q4_0.pack

9.3 DFlash2 に切り替える

設定ファイルに "drafting": "dflash2" を追加します。元に戻せるように、先にバックアップを取ります。

cp $CFG /tmp/$CFG.bak
python3 - <<'EOF'
import json; p="strata-unsloth-ud-q4_k_xl.json"
d=json.load(open(p)); d["drafting"]="dflash2"; json.dump(d,open(p,"w"),indent=1)
EOF
grep -n '"drafting"\|"parallel"' $CFG

サーバーを再起動すると、起動ログで DFlash2 に切り替わったことを確認できます。

[strata] drafting: DFlash2 alone (--draft dflash2, --draft-conf 0.35)

--draft-conf などのドラフター関連の引数は、起動のたびに Strata が自動で付け直します。設定ファイルの args に手で書いても上書きされるので注意してください。

9.4 結果

同じ条件(parallel 2、--clients 2 --long)で測りました。

./bench.sh --url http://127.0.0.1:8000 --api-key dummy --clients 2 --long
項目(中央値) MTP DFlash2 差
chat decode 56.9 tok/s 59.6 tok/s +4.7%
agent decode 67.0 tok/s 49.3 tok/s -26%
2 本同時の合計スループット 112.3 tok/s 104.2 tok/s -7%
4K プロンプト読み込み 665.0 tok/s 671.4 tok/s ほぼ同じ
16K プロンプト読み込み 1,083.6 tok/s 1,062.4 tok/s -2%
32K プロンプト読み込み 1,179.6 tok/s 1,141.1 tok/s -3%
agent ターンの初回トークン 5.50 s 5.36 s ほぼ同じ
  • chat は少し速くなり、決まった言い回しの質問(q1)では 100 tok/s 前後まで出ました
  • しかし、エージェント用途の decode は 26% 遅くなりました(回ごとの幅も 24.7〜60.4 tok/s と大きい)
  • プロンプトの読み込みでは、ドラフターは使われないので、差は測定のばらつき程度です

ネット上では「DFlash2 のほうが MTP より速い」という報告が多いですが、私の構成(4×RTX 4090 のレイヤー分割、オリジナル版のドラフター、--draft-conf 0.35)では、メインの用途であるエージェントで MTP のほうが速いという結果になりました。Strata の作者も「DFlash2 がどのカードでも勝つとは限らない」としており、カードやワークロードで結果が変わるようです。

9.5 MTP に戻す

メインの用途がエージェントなので、MTP に戻しました。

cp /tmp/$CFG.bak ~/Strata/$CFG
# サーバーを Ctrl+C で止めてから
~/Strata/start-q4.sh

DFlash2 を試すときは、自分のワークロードに近いベンチマーク(特に agent decode)で比較してから決めるのがおすすめです。

ハマりどころまとめ

症状 原因 対処
nvcc で rsqrt の宣言衝突 CUDA 13.0 と Ubuntu 26.04 の glibc の不一致 CUDA 13.3 に上げる
CMake が CUDA20 を認識しない conda / pip の古い cmake が PATH の先頭にある conda deactivate、古い cmake を退避
ビルド済みエンジンのダウンロードが遅い・404 ソースのバージョンに対応するビルド済みエンジンがない --build で手元でビルド
特定の GPU だけ error 46、全体で error 2 WSL2 マルチ GPU の既知の問題 NVML を先に初期化する .so を LD_PRELOAD
CUDA_VISIBLE_DEVICES が効かない Strata が --gpus から自分で設定する --gpus に物理番号を指定
UD-Q4_K_XL のサイズ不一致エラー ModelScope は v3.1 の新ファイル、setup は旧ファイルを pin 手動でダウンロードして --gguf-dir
読み込み中に WSL ごと落ちる / expert cache の確保失敗 Windows の仮想メモリ不足 .wslconfig の memory を下げ、ページファイルを増やす
context_length_exceeded --context 65536 で設定していた --context 262144 で setup し直す
Auto なのに Drafting: MTP (the DFlash2 drafter isn't downloaded yet) setup は DFlash2 をダウンロードしない strata.py drafting fetch で取得(ただし速いとは限らない)
--clients 2 で runs 1 request(s) at a time と出る setup で --parallel 2 にしたあと、サーバーを再起動していない start-q4.sh を再起動する

まとめ

ポイント 内容
構成 4×RTX 4090 + Strata + UD-Q4_K_XL
結果 expert cache 99.4% ヒット、agent decode 84.5 tok/s、コンテキスト 262K
重みの入手 ModelScope から v3.1 のファイルを手動ダウンロードして --gguf-dir
同時リクエスト --parallel 2 で 2 本同時の合計スループットが約 2.7 倍(1 本あたりは約 2 割遅くなる)
ドラフター DFlash2 は chat で +4.7%、agent で -26%。エージェント用途なので MTP を採用
WSL2 の注意点 NVML の先行初期化、Windows の仮想メモリ、GPU は物理番号で指定

Strata は、大きな VRAM がなくても動かせることが売りのエンジンです。ただ、4×RTX 4090 のように VRAM が十分ある環境では、Q4 の experts がほぼ全部 GPU に載り、CPU に頼らない高速な推論ができました。

125B クラスの MoE を手元のマシンで実用的な速度で動かしたい方は、是非お試しください!

参考

2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?