本記事はこちらのブログを参考にしています。
翻訳にはアリババクラウドのModelStudio(Qwen)を使用しております。
DeepSeek-V3およびDeepSeek-R1モデルのデプロイガイド
DeepSeek-V3は、DeepSeekが開発した6710億パラメータを持つ大規模なMoE（Mixture of Experts）言語モデルです。DeepSeek-R1は、DeepSeek-V3-Baseで訓練された高性能推論モデルです。Model Galleryでは、vLLMまたはBladeLLMによる加速デプロイ機能を提供しており、DeepSeek-V3およびDeepSeek-R1シリーズのモデルをワンクリックでデプロイできます。
サポートされているモデルリスト
注: DeepSeek-R1およびDeepSeek-V3のフルバージョンモデルには671Bものパラメータがあり、非常に高い設定とコスト（96GB以上のビデオメモリを持つ8枚のGPUカードなど）が必要です。蒸留モデルを選択することで、より多くのマシンリソースを利用でき、デプロイコストも削減できます。テスト結果によると、DeepSeek-R1-Distill-Qwen-32Bモデルは優れたパフォーマンスとコスト効率を提供し、クラウドデプロイに適しています。その他の蒸留モデル（7B、8B、14Bなど）もデプロイ可能です。Model Galleryには、モデルの実際のパフォーマンスを評価するためのモデル評価ツールもあります（評価エントリはモデル製品ページの右上にあります）。以下の表には、最小構成要件を満たすモデルが表示されています。システムは、Model Galleryのデプロイページにあるリソース仕様選択リストで利用可能な公開リソース仕様を自動的にフィルタリングしています。
デプロイ方法の説明
BladeLLM 加速デプロイ:
BladeLLMは、Alibaba Cloud PAIが独自に開発した高性能な推論フレームワークです。
vLLM 加速デプロイ:
vLLMは、LLM推論加速のために業界で広く認識されているライブラリです。
標準デプロイ:
これは推論加速なしの標準的なデプロイ方法です。最適なパフォーマンスと最大サポートトークン数を得るためには、加速デプロイ（BladeLLM、vLLM）をお勧めします。加速デプロイはAPI呼び出し方式のみをサポートします。標準デプロイはAPI呼び出し方式とWebUIチャットインターフェースの両方をサポートします。
モデルのデプロイ
-
Model Galleryページに移動: PAIコンソールにログインします。左上の隅でビジネスニーズに合ったリージョンを選択します。左側のナビゲーションペインで「Workspace List」を選択し、指定されたワークスペース名をクリックして対応するワークスペースに入ります。左側のナビゲーションペインで「Getting Started > Model Gallery」を選択します。
-
モデルカードの選択: Model Galleryページでデプロイしたいモデルカード（例：DeepSeek-R1-Distill-Qwen-32Bモデル）を見つけ、クリックしてモデル製品ページにアクセスします。
-
デプロイの実行: 右上にある「Deploy」をクリックし、デプロイ方法とリソースを選択してワンクリックでデプロイし、PAI-EASサービスを作成します。
注意: DeepSeek-R1およびDeepSeek-V3をデプロイする場合、ml.gu8v.c192m1024.8-gu120やecs.gn8v-8x.48xlargeモデル（在庫が限られている可能性があります）に加えて、ecs.ebmgn8v.48xlargeモデルも選択肢となります。ただし、このモデルは公開リソースでは利用できません。EAS専用リソースを購入する必要があります。
推論サービスの使用
デプロイ成功後、サービスページで「View Call Information」をクリックして、EndpointとTokenを取得します。サービス呼び出し方法はデプロイ方法によって異なります。詳細な手順はModel Galleryのモデル紹介ページに記載されています。
BladeLLMデプロイ
vLLMデプロイ
標準デプロイ
| 機能 | BladeLLM | vLLM | 標準 |
|---|---|---|---|
| WebUI | 非サポート | 非サポート | サポート |
| オンラインデバッグ | サポート | サポート | サポート |
| API呼び出し | サポート | サポート | サポート |
WebUI
非サポート。Web UIコードをダウンロードしてローカルでWeb UIを起動できます。
注意: BladeLLMとvLLMのWeb UIコードは異なります。
- BladeLLM: BladeLLM_github, BladeLLM_oss
- vLLM: vLLM_github, vLLM_oss bash
python_disabled webui_client.py --eas_endpoint --eas_token
API呼び出し
- completionsインターフェース:
<EAS_ENDPOINT>/v1/completions - chatインターフェース:
<EAS_ENDPOINT>/v1/chat/completions - API説明ファイル:
<EAS_ENDPOINT>/openapi.json - モデルリスト:
<EAS_ENDPOINT>/v1/models
| 互換性 | BladeLLM | vLLM | 標準 |
|---|---|---|---|
| OpenAI SDKとの互換性 | 非互換 | 互換 | 非互換 |
リクエストデータ形式
completionsとchatのリクエストデータ形式は異なります。BladeLLMと比較すると、モデルパラメータを追加する必要があります。モデルパラメータの値は<EAS_ENDPOINT>/v1/modelsインターフェースから取得できます。文字列型とJSON型の両方をサポートしています。
BladeLLM 加速デプロイ
- Completionsリクエストデータ:json
{ "prompt": "hello world", "stream": true } - Chatリクエストデータ:json
{
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "Hello World!!"
}
]
}
vLLM 加速デプロイ
以下の例では、<model_name>を<EAS_ENDPOINT>/v1/models APIから取得したモデル名に置き換えてください。
- Completionsリクエストデータ:json
{ "model": "", "prompt": "hello world" } - Chatリクエストデータ:json
{
"model": "",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user
長期的な利用の場合、パブリックリソースグループをセービングスプランと組み合わせるか、サブスクリプション型のEASリソースグループを購入することでコストを削減することを検討してください。非プロダクション環境では、デプロイ時にプリエンプティブルモードを有効にできます。ただし、入札が成功するには特定の条件があり、リソースの不安定性が生じるリスクがあることに注意してください。