先日、会社で NVIDIA の AI ワークステーションである DGX Station GB300 を導入しました。
この記事では、導入した機材の構成と、設置にあたって必要になった準備をお伝えします。
導入目的
この機材を導入した目的は、社内業務の AI 化をセキュアに進めることです。
外部の生成 AI サービスを使う場合、入力した情報は社外のサーバへ送られます。
しかし、業務で扱う情報の中には、社外へ出せないものが少なくありません。
そこで、自社の設備で LLM を動かせば、情報を社内に留めたまま AI を業務へ取り込めます。
もう 1 つ、コストの最適化も期待しています。
外部の API は利用量に応じた従量課金ですので、AI の利用が広がるほど費用も増えていきます。
自社で機材を持つ場合は初期費用がかかるものの、
そのあとは電気代と運用の手間だけで、使う量を気にせず済みます。
どこで損益が分岐するのかは、これから運用しながら見ていく予定です。
現在はこの機材で社内向けのサービスを稼働させており、
GitHub Copilot や OpenCode といったツールと組み合わせて、開発業務で使われ始めています。
利用している社員からは、以下のような声が届いています。
- AI からの応答が非常に高速である
- 精度は Claude Opus 系と同等のレベルがあるように感じる
いずれも使ってみた感想ですので、
次回以降は測定した結果をお伝えする予定です。
導入した機材
今回導入した機器は Dell から販売されている Dell Pro Max with Station GB300 です。
Dell Pro Max デスクトップ with GB300
DGX Station は NVIDIA が定めるアーキテクチャの名称であり、
実際の製品は Dell をはじめとする各社が製造しています。
スペック
Dell Pro Max with Station GB300 の公称スペックは以下のとおりです。
| 項目 | 値 |
|---|---|
| CPU | NVIDIA Grace 72 コア (Arm Neoverse V2) |
| GPU | NVIDIA Blackwell Ultra |
| GPU メモリ | 252GB HBM3e (帯域 7.1TB/s) |
| システムメモリ | 496GB LPDDR5X (帯域 396GB/s) |
| 統合メモリ | 748GB |
| CPU と GPU の接続 | NVLink-C2C 900GB/s |
| AI 性能 | FP4 で 20 petaFLOPS |
| ネットワーク | ConnectX-8 SuperNIC 最大 800Gb/s |
| グラフィックス | NVIDIA RTX PRO 2000 Blackwell 16GB GDDR7 |
| 電源 | 1600W Titanium |
| 重量 | 38.67kg |
CPU からネットワークまでの値は NVIDIA の製品ページから、
グラフィックスと電源と重量は Dell の製品ページから引用しています。
出典は記事の末尾にまとめています。
グラフィックスの RTX PRO は、AI の演算とは別に搭載される PCIe カードです。
NVIDIA は RTX PRO 6000 から 2000 までの複数の製品に対応するとしており、
どれを搭載するかは製品の構成によって決まります。
実際に導入した機器で CPU、GPU、メモリの構成を確認した結果は以下のとおりです。
$ lscpu
アーキテクチャ: aarch64
モデル名: Neoverse-V2
CPU: 72
CPU 最大 MHz: 3375.0000
$ nvidia-smi --query-gpu=name,memory.total --format=csv
name, memory.total [MiB]
NVIDIA RTX PRO 2000 Blackwell, 16311 MiB
NVIDIA GB300, 256703 MiB
$ free -h
total used free shared buff/cache available
Mem: 744Gi 298Gi 157Gi 278Mi 326Gi 445Gi
Swap: 0B 0B 0B
この機材の特徴
GB300 の特徴は、CPU と GPU がおたがいのメモリへ直接アクセスできる点にあります (出典)。
一般的な構成では、GPU のメモリと CPU のメモリは切り離されています。
GPU のメモリに収まらないモデルは、そのままでは動かせません。
一部を CPU 側へ逃がして動かす方法もありますが、実用的な速度は出にくくなります。
GB300 では、Grace CPU と Blackwell Ultra GPU が NVLink-C2C で接続されており、
CPU 側の 496GB と GPU 側の 252GB を合わせた 748GB へ、
どちらのプロセッサからもアクセスできます。
NVIDIA はこれを 748 GB of coherent memory と表現しています。
ただし、748GB が 1 つの塊になっているわけではありません。
実際に numactl コマンドで確認してみると、2 つの領域に分かれて見えます。
$ numactl -H
node 0 cpus: 0 1 2 3 ... 71
node 0 size: 506375 MB
node 1 cpus:
node 1 size: 255488 MB
node distances:
node 0 1
0: 10 80
1: 80 10
node 0 が CPU 側、node 1 が GPU 側のメモリです。
注目したいのは node distances の値です。
自分のノードへのアクセスが 10 であるのに対し、相手のノードへは 80 と記録されています。
物理的には別の場所にあり、遠いほうへのアクセスは相応のコストがかかります。
電源の準備
Dell Pro Max with Station GB300 に搭載されている電源ユニットの容量は 1600W です (出典)。
GPU の消費電力の上限を実機で確認したところ 1300W と表示されました。
$ nvidia-smi -i 1 --query-gpu=name,power.max_limit --format=csv
name, power.max_limit [W]
NVIDIA GB300, 1300.00 W
入力電圧の範囲は 90VAC から 264VAC です。
給電の量によって必要な電圧が変わります。
| 給電 | 必要な入力電圧 |
|---|---|
| 1300W | 100VAC から 240VAC |
| 1600W | 115VAC から 240VAC |
上記は Dell のマニュアルにある電源定格の記載です (出典)。
1600W で動かすには 115VAC 以上が必要ですので、日本では 200V の電源を用意することになります。
日本の一般的なコンセントである 100V でこの機器が動作するのか、
動作する場合に性能がどの程度落ちるのかは、当社では確認していません。
100V での運用を検討される場合は、Dell へお問い合わせください。
今回はこの機器をサーバルームのラック内に設置しました。
サーバルームには 200V の電源が引いてあり、NEMA L6-30P のコンセントが使える状態でした。
既存の設備をそのまま使えたため、電源工事は不要でした。
ただし、200V 30A に対応した PDU は手持ちがありませんでしたので、新たに購入しています。
本体側の電源インレットは C19 ですので、PDU を選ぶ際はこの形状に対応しているかを確認してください。
導入を検討される場合は、機材の選定と並行して、
設置場所の電源が 200V に対応しているかを先に確認することをおすすめします。
電源工事が必要になると、リードタイムが機材の納期より長くなる場合があります。
ラックへの搭載
Dell Pro Max with Station GB300 の重量は 38.67kg です (出典)。
この重量を一人で持ち上げるのは困難ですので、ラックへ搭載する際は必ず複数人で作業する必要があります。
幸い、筐体の前面と背面に持ち手がついていましたので、そこを掴んで運びました。
前後に 1 人ずつ立って持てますので、2 人であれば無理なく運べます。
持ち上げる際は、この持ち手を使うことをおすすめします。
初回起動のときの様子
まず初めに、電源ボタンを押しても、すぐには起動しませんでした。
画面には何も表示されず、しばらく無反応の時間が続きます。
故障を疑いたくなりますが、そのまま待っていれば起動します。
電源が入ると、今度はファンがかなりの音量で回り始めました。
こちらもしばらくすると回転数が下がり、音は落ち着きます。
初めて電源を入れる際に知らずにいると不安になりますので、書き添えておきます。
OS とソフトウェア
Dell Pro Max with Station GB300 に出荷時から入っているソフトウェアは以下のとおりです。
| 項目 | 値 |
|---|---|
| OS | Ubuntu 24.04.4 LTS |
| カーネル | 6.17.0-1014-nvidia-64k |
| アーキテクチャ | ARM (aarch64) |
| ドライバ | 595.58.03 |
| CUDA | 13.2 |
| Docker | 29.1.3 |
| containerd | 2.2.1 |
| NVIDIA Container Toolkit | 1.19.0 |
コンテナを動かすための一式が最初から揃っていますので、
すぐにコンテナで GPU を使い始められます。
CPU が ARM である点は注意してください。
x86 向けに配布されているバイナリやコンテナイメージは、そのままでは動きません。
社内サービスとしての展開
この機材で提供しているのは、AI チャットサービスと LLM の API サービスです。
これらのサービスを構成するソフトウェアと、リクエストが流れる順序は以下のとおりです。
推論エンジンとして vLLM を動かし、その手前に LiteLLM を置いています。
LiteLLM が OpenAI 互換の API を提供しますので、
社内の開発者は普段使っているツールの接続先を変えるだけで利用できます。
また、LiteLLM は API キーの認証に加えて、利用者ごとの予算やレート制限の管理も担います。
動かしているモデル
DeepSeek が 2026 年 8 月 31 日にオープンウェイトを公開した
DeepSeek-V4-Flash-Vision-Exp を動かしています。
ライセンスは MIT です。
| 項目 | 値 |
|---|---|
| 総パラメータ数 | 305B |
| 構造 | Mixture-of-Experts |
| コンテキスト長 | 1,048,576 トークン |
| 入力 | テキストと画像 |
| 量子化 / MoE のエキスパート | 4 ビット |
| 量子化 / アテンション機構 | FP8 |
| 量子化 / 画像を扱う部分 | BF16 |
モデルカードには、DeepSeek-V4-Flash のアーキテクチャへ視覚モジュールを組み込み、
継続して学習させたものであると記載されています。
生成の速度
GB300 の速度を確かめるために、LiteLLM がリクエストごとに記録している値を集計しました。
こちらは、ベンチマークテストツールによるものではなく、
GitHub Copilot や OpenCode などのツールから実際に利用された際の速度です。
稼働を開始してからの約 1 日で、2,876 件のリクエストを処理しています。
入力は 2 億 2955 万トークン、出力は 222 万トークンでした。
| 項目 | 中央値 | 90 パーセンタイル |
|---|---|---|
| 生成の速度 | 約 273 tokens/s | 約 177 tokens/s |
| 最初のトークンまでの時間 | 約 0.50 秒 | 約 1.62 秒 |
生成の速度は、出力が 100 トークン以上かつ生成に 1 秒以上かかったリクエスト 1,043 件を対象にしました。
出力が短いリクエストでは計測の誤差が大きくなるためです。
プロンプトの長さも内容も利用者ごとに異なりますので、条件を揃えた測定ではありません。
条件を揃えた測定は次回以降お伝えします。
次回以降の予定
次回以降は以下を予定しています。
- 並列リクエスト時のベンチマーク
- 資料作成業務がどの程度の速度と精度でこなせるか
この機材の導入を検討されている方の参考になれば幸いです。
参考にした資料
この記事で引用した内容の出典です。