はじめに
大規模言語モデルDeepSeek-R1-Distill-Qwen-32Bをsglangフレームワークで動かす手順を解説します。GPUマシン環境のセットアップからサーバー起動まで、実際のコマンド例を交えて説明します。
環境構築手順
1. Conda環境の作成
conda create -n sglang python=3.11 -y
conda activate sglang
2. 依存関係のインストール
pip install --upgrade pip
pip install sgl-kernel --force-reinstall --no-deps
pip install "sglang[all]>=0.4.3.post2" --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python
pip install transformers==4.48.3
サーバー起動スクリプト
起動コマンド
eval "$(conda shell.bash hook)"
conda activate sglang
CUDA_VISIBLE_DEVICES=3,1,0,2 \
TRANSFORMERS_OFFLINE=1 \
HF_DATASETS_OFFLINE=1 \
python -m sglang.launch_server \
--model-path deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
--trust-remote-code \
--served-model-name gpt-4 \
--tensor-parallel-size 4 \
--mem-fraction-static 0.9 \
--api-key sk-xxxxxx \
--host 0.0.0.0 \
--port 8000
主要パラメータ解説
| パラメータ | 説明 |
|---|---|
--tensor-parallel-size 4 |
4つのGPUを使用したテンソル並列処理 |
--mem-fraction-static 0.9 |
GPUメモリの90%を事前割当 |
--trust-remote-code |
カスタムモデルコードの実行許可 |
--api-key sk-xxxxxx |
簡易認証用APIキー（本番環境では変更必須） |
注意事項
-
GPU設定
CUDA_VISIBLE_DEVICESで指定するGPU番号は環境に応じて変更 -
セキュリティ
--host 0.0.0.0は外部アクセスを許可する設定（ファイアウォール設定要確認） -
モデルサイズ
VRAM要件：約94GB（4GPUで分散処理時） -
Transformersバージョン
互換性問題を避けるため指定バージョンを厳守
動作確認方法
サーバー起動後、以下の方法でAPIエンドポイントにアクセス可能です：
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-xxxxxx" \
-d '{
"model": "gpt-4",
"messages": [{"role": "user", "content": "日本で有名な観光地を3つ教えて"}]
}'
まとめ
sglangを使用することで、大規模言語モデルの効率的なデプロイが可能になります。本記事の手順を参考に、DeepSeek-R1の推論環境構築に挑戦してみてください。
（注）本記事の設定は開発用環境を想定しています。本番環境ではセキュリティ設定の見直しを推奨します。