Qwen3 MoE をTuring世代で動かす手順（Ollama）
2025/8/12
■環境
OS:Rocky Linux 9.6 GUI無し
GPU:Quadro RTX 6000 4枚構成 24GBx4=96GB
メモリ：192GB
Nvidia Driver Version: 535.183.01
CUDA Version: 12.2
■LLMモデル qwen3-coder:30b
■注意事項
bf16はTuringでは非対応
PCIeのみ接続でもTP=4は可能
■これまでの経緯
vLLMにてQwen3 MoE（Mixture of Experts） は上手く起動できず、あきらめかけておりましたが、Ollamaにて、以下の手順であっさり解決しました。
※Ollamaの「qwen3-coder:30b」はGGUF量子化（既定 Q4_K_M、約19GB）として提供 bf16/fp16の指定は不要（=不可）で、その代わり複数GPUに自動で分割配置されます（CUDAが見えていればOKの様）OllamaGitHub
■①：Ollama（GPU/多GPU対応）をインストール & 置き場を /srv/llm/models に変更
※ root想定。サービス化されるのでGUI不要。/homeは使用しない設定(任意)です。
curl -fsSL https://ollama.com/install.sh | sh
systemctl enable --now ollama
※このコマンドは、どのディレクトリにいてもOK
curl -fsSL https://ollama.com/install.sh | sh は
①インターネットから install.sh を取得
②その場で sh に流して実行 という流れなので、カレントディレクトリには
何も作られず、 システムの標準インストール先（例: /usr/local/bin）に
配置されます。
・モデル保管先を /srv/llm/models/ollama に変更(任意)（既定は ~/.ollama）
/etc/systemd/system/ollama.service.d/override.conf を作成：
[Service]
Environment=OLLAMA_MODELS=/srv/llm/models/ollama
Environment=OLLAMA_HOST=0.0.0.0:11434
Environment=CUDA_VISIBLE_DEVICES=0,1,2,3
設定項目
OLLAMA_MODELS ：保管先切替
OLLAMA_HOST ：待受
CUDA_VISIBLE_DEVICES ：使用GPU指定
・設定の反映
mkdir -p /srv/llm/models/ollama
chown -R ollama:ollama /srv/llm/models/ollama || true
systemctl daemon-reload
systemctl restart ollama
■②：Qwen3-Coder-30B をOllamaで取得・起動（多GPU自動分割）
・モデル取得（約19GB：Q4_K_M量子化）
ライブラリ仕様（arch: qwen3moe、quantization: Q4_K_M、約19GB）を確認
Ollama
以下のコマンドでダウンロードが始まります。
ollama pull qwen3-coder:30b
最後は以下の様な画面
・Ollama CLIでモデルを対話モード（REPL）で起動
ollama run qwen3-coder:30b
ollama run
モデルを実行するコマンド。標準では対話モード（REPL）が有効
qwen3-coder:30b
モデル名とバージョン（ここでは30Bパラメータ版）
■③：インストール内容の確認
# ollama show qwen3-coder:30b
Model
architecture qwen3moe
parameters 30.5B
context length 262144
embedding length 2048
quantization Q4_K_M
Capabilities
completion
Parameters
repeat_penalty 1.05
stop "<|im_start|>"
stop "<|im_end|>"
stop "<|endoftext|>"
temperature 0.7
top_k 20
top_p 0.8
License
Apache License
Version 2.0, January 2004
以上です。
vLLMでは、不可能かとあきらめかけましたが、Ollamaではあっさり解決しました。