LLM開発で最初にぶつかる「GPU環境の準備」
LLM開発を始めると、多くのAIエンジニアが最初にぶつかるのが「GPU環境の準備」です。
AI開発エンジニアの方は、次のような分野には詳しくても、
- モデル開発
- データ処理
- プロンプト設計
次のようなインフラ構築にはあまり触れていないケースが多くあります。
- ネットワーク
- セキュリティ設定
- GPU VMの構築
そのため、「GPU環境を自分で用意するのはハードルが高い」と感じる方も少なくありません。
例えば一般的なパブリッククラウドでGPU環境を構築する場合、次のソフトウェアのバージョン互換性を確認しながら、環境を組み立てる必要があります。
- NVIDIA Driver
- CUDA Toolkit
- cuDNN
- NCCL
- Python / PyTorch
- Jupyter Notebook
もう一つの壁:GPUリソース不足
生成AI開発を行うお客様からよく聞くもう一つの課題が、GPUリソースの不足です。特に東京リージョンでは、次のようなケースも珍しくありません。
- GPUインスタンスが起動できない
-
Insufficient capacityエラーが出る - 起動できるまで数十分〜1時間待つ
実際に私が担当したお客様からも、「GPUインスタンスが利用可能になるまでの待ち時間が長く、1時間以上待つのはよくあること……」という声をいただきます。
これを聞いて思い出すのが、2000年代初めの「ネットでファイルのダウンロードを始めたら、待っている間にとりあえずお茶を入れに行く」あの時代です。GPU特化ではないクラウドをご利用中のお客様とその体験談をお聞きする際、この懐かしい思い出を引き合いにして冗談交じりに笑い合うこともあります。
そこで今回紹介するのがFPT AI Factoryです
FPT AI Factoryは、生成AI開発に特化したGPUクラウドです。
- NVIDIA H200 GPU
- 1,000基以上のGPU
- AI専用に設計されたインフラ
一般的なクラウドでは、GPUは数あるサービスの1つにすぎません。FPT AI Factoryは、「生成AI開発そのもの」を目的に設計されたクラウドです。
さらにFPT AI FactoryのGPU VMは、NVIDIAドライバ入りのOSイメージを選ぶだけで起動直後からGPUを使えるため、インフラ構築に慣れていない方でもすぐにLLM開発を始められます。この記事では、実際にその手順を追っていきます。
この記事でやること
H200を1基搭載したGPU仮想マシンを作り、その上でオープンなLLMを動かして、APIから質問できる状態にします。
- GPU仮想マシンを作成する
- SSHで接続し、H200が認識されていることを確認する
- vLLMをインストールする
- まずは小さなモデル(7B)で動作を確認する
- 72B級のモデルをH200 1基で動かす
- OpenAI互換APIから質問してみる
所要時間の目安は約1時間です。そのうち半分ほどは、モデルのダウンロード待ちです。
なぜH200だと「一気に進む」のか
LLMを動かすうえで一番の壁は、GPUメモリの量です。モデルの大きさは「パラメータ数×精度」でおおよそ見積もれます。
| モデル | BF16(16ビット) | FP8(8ビット) |
|---|---|---|
| 7B級 | 約14GB | 約7GB |
| 72B級 | 約144GB | 約72GB |
H200のGPUメモリは141GBあります。72B級のモデルをFP8で載せても約70GBの余裕が残り、その余裕を会話の履歴(KVキャッシュ)や同時リクエストに使えます。80GBのGPUでは同じモデルを1基に載せるとほとんど余裕がなく、複数GPUへの分割が必要になります。
つまりH200なら、GPUを分割する設定に悩まず、1基で大きなモデルを試せるのです。開発の最初の一歩が早くなるのはこのためです。
1. GPU仮想マシンを作成する
ここからは、FPT Cloudのコンソール画面で作業します。ネットワークの準備からGPU VMの起動まで、クリック操作だけで進められます。
1-1. コンソールにログインする
FPT Cloudコンソール にアクセスし、ユーザー名とパスワードでログインします。ログイン後、画面上部で Region(Japan / JPN01)、Tenant、VPC を確認します。
FPT Cloudのリソースは、次のような階層で管理されています。
FPT Cloud
└─ リージョン(Japan / JPN01)
└─ テナント
└─ VPC(Virtual Private Cloud)
テナントごとに独立したネットワーク(VPC)を持てるので、ほかの利用者と分離された環境でGPUを使えます。
1-2. サブネットを作成する
VMを配置するネットワーク(サブネット)を作ります。
Network → Subnets → Create Subnet
| 項目 | 設定値 |
|---|---|
| Name | subnet-1 |
| Type | Routed |
| Network address | 192.168.1.0/24 |
| Gateway IP | 192.168.1.1 |
Network addressとGateway IPには、自動で候補が入ります。特にこだわりがなければ、そのままで大丈夫です。
1-3. セキュリティグループを作成する
セキュリティグループは、VMに設定するファイアウォールです。初期状態ではすべての通信が閉じている(Default Deny)ので、使いたいポートだけを開けます。
Network → Security Groups → Create security group
-
Name:
security-group-1 - Add Rule で、Inbound(外からVMへの通信)に SSH(TCP/22)を追加します
Outbound(VMから外への通信)のルールは自動で作成されるので、設定は不要です。
SSHの接続元(Source)は、できるだけ自分のオフィスや自宅のIPアドレスに絞るのがおすすめです。すべてのIPアドレスに開放すると、インターネット上から常にログインを試みられる状態になります。
1-4. SSHキーを作成する
VMへのログインには、パスワードではなくSSHキー(公開鍵と秘密鍵のペア)を使います。VMには公開鍵が登録され、手元のPCには秘密鍵を保存します。
Compute Engine → SSH Management → Import SSH Key
-
Name に
ssh-key-testと入力 - Generate a SSH Key pair をクリック
- 秘密鍵(
.pemファイル)が自動でダウンロードされます
ダウンロードされた秘密鍵は、SSHでログインするときに必ず必要です。なくさないように保存してください。また、ほかの人とは絶対に共有しないでください。
1-5. GPU VMを作成する
いよいよH200搭載のVMを作ります。
Compute Engine → Instance Management → Create instance
| 項目 | 設定値 |
|---|---|
| Instance name | vm-gpu |
| Instance type | GPU |
| GPU | NVIDIA H200 SXM5 |
| Disk type | Ephemeral disk (NVMe) |
| Image | Ubuntu 22.04 GPU |
| Template(GPU数) |
1(1・2・4・8基から選択可能) |
| Subnet | subnet-1 |
| Security Group | security-group-1 |
| SSH Key | ssh-key-test |
最後に Create Instance をクリックします。インスタンス一覧でStatusが Pending → Running に変われば起動完了です。
ここがこの記事の一番のポイントです。OSイメージに Ubuntu 22.04 GPU を選ぶと、NVIDIAドライバがすでに入った状態でVMが起動します。冒頭で紹介した「ドライバとCUDAのバージョンを合わせる」作業から始める必要はありません。
Ephemeral disk は、VMを削除するとデータも消えるディスクです。ダウンロードしたモデルや作ったファイルで残したいものは、オブジェクトストレージなどに退避してください。
1-6. Floating IPを割り当てる
作成したVMにはプライベートIPアドレスしかないため、インターネットから接続するためのIPアドレス(Floating IP)を割り当てます。
Network → Floating IPs
-
IP address で
Allocate new from poolを選択 -
Resources で
Instanceを選び、プルダウンからvm-gpuを選択 - Allocate floating IP をクリック
Floating IPを割り当ててもVM自体には何も変更は加わりません。インターネットとVMの間にあるNATの設定が変わるだけです。
本番環境では「踏み台サーバー」経由がおすすめです。 GPU VMに直接Floating IPを付けず、小さな踏み台VM(bastion)だけをインターネットに公開し、そこからGPU VMに接続する構成にすると、攻撃を受ける入口を減らせます。今回は手順をシンプルにするため、GPU VMに直接割り当てています。
1-7. うまくつながらないときは
VMにセキュリティグループが正しく適用されていない場合があります。その場合は次の手順で適用し直してください。
-
Network → Security Groups から
security-group-1をクリック -
Apply to から対象のVM(
vm-gpu)を選択 - Apply instances をクリック
2. SSHで接続し、H200を確認する
手元のPCのターミナルから接続します。GPU VMのログインユーザーは ubuntu です。<Floating IP> と鍵ファイルのパスは、ご自身の環境に置き換えてください。
Mac / Linux の場合は、最初に秘密鍵の権限を変更しておきます(権限が広いままだと、sshコマンドが鍵を受け付けません)。
chmod 400 ~/Downloads/ssh-key-test.pem
ssh -i ~/Downloads/ssh-key-test.pem ubuntu@<Floating IP>
Windowsのコマンドプロンプトの場合は、次のように接続します。
ssh -i %USERPROFILE%\Downloads\ssh-key-test.pem ubuntu@<Floating IP>
初回接続時に Are you sure you want to continue connecting (yes/no/[fingerprint])? と聞かれたら、yes と入力します。
接続できたら、GPUが見えているかを確認します。
nvidia-smi
次のように NVIDIA H200 と、約141GB(143771MiB 前後)のメモリが表示されれば成功です。
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI xxx.xx Driver Version: xxx.xx CUDA Version: xx.x |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| 0 NVIDIA H200 On | 00000000:xx:00.0 Off | 0 |
| | 0MiB / 143771MiB | |
+-----------------------------------------+------------------------+----------------------+
ドライバのインストールやCUDAのバージョン確認をしていないのに、もうH200が使える状態になっています。
nvidia-smi: command not found と出る場合は、OSイメージに Ubuntu 22.04 GPU 以外を選んでいる可能性があります。VMを作り直すのが一番簡単です。
3. vLLMをインストールする
vLLM は、LLMを高速に動かすためのオープンソースの推論エンジンです。OpenAIと同じ形式のAPIサーバーを1コマンドで立ち上げられるので、既存のアプリからもそのまま呼び出せます。
Pythonの環境を汚さないように、仮想環境を作ってからインストールします。ここではパッケージ管理ツールの uv を使います。
# uv をインストール
curl -LsSf https://astral.sh/uv/install.sh | sh
source $HOME/.local/bin/env
# 仮想環境を作って有効化
uv venv --python 3.12 ~/vllm-env
source ~/vllm-env/bin/activate
# vLLM をインストール
uv pip install vllm
インストールには数分かかります。終わったらバージョンを確認しておきましょう。
vllm --version
4. まずは7Bモデルで動作確認する
いきなり大きなモデルを動かすと、ダウンロードに時間がかかり、うまくいかなかったときの切り分けも大変です。まずは小さなモデルで、仕組みが動くことを確かめます。
ここでは日本語にも強い Qwen2.5-7B-Instruct を使います。
vllm serve Qwen/Qwen2.5-7B-Instruct --max-model-len 8192
初回はモデルのダウンロード(約15GB)が始まります。ログの最後に次のような表示が出たら、APIサーバーの起動完了です。
INFO: Uvicorn running on http://0.0.0.0:8000
別のターミナルからVMにもう一度SSHで接続し、質問を送ってみます。
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen2.5-7B-Instruct",
"messages": [{"role": "user", "content": "GPUクラウドを使うメリットを3つ教えてください"}],
"max_tokens": 300
}'
JSON形式で回答が返ってくれば成功です。確認できたら、最初のターミナルで Ctrl + C を押してサーバーを止めます。
5. 72B級のモデルをH200 1基で動かす
いよいよ本番です。Qwen2.5-72B-Instruct を、FP8に量子化しながら読み込みます。
vllm serve Qwen/Qwen2.5-72B-Instruct \
--quantization fp8 \
--max-model-len 16384 \
--gpu-memory-utilization 0.90
各オプションの意味は次のとおりです。
| オプション | 意味 |
|---|---|
--quantization fp8 |
読み込み時に重みをFP8に変換し、メモリ使用量を約半分にする |
--max-model-len 16384 |
1回の会話で扱える最大トークン数 |
--gpu-memory-utilization 0.90 |
GPUメモリの90%までをvLLMに使わせる |
ダウンロード(約145GB)と読み込みに、環境によって20〜40分ほどかかります。起動したら、別のターミナルで nvidia-smi を実行してみてください。72B級のモデルが、H200 1基のメモリに収まっていることがわかります。
FP8は、Hopper世代(H100・H200)のGPUがハードウェアで対応している形式です。精度の低下はわずかで、メモリ使用量を大きく減らせます。
6. OpenAI互換APIから質問してみる
vLLMのAPIはOpenAIと同じ形式なので、OpenAIの公式Pythonライブラリからそのまま呼び出せます。
uv pip install openai
chat.py というファイルを作ります。
from openai import OpenAI
# vLLM のサーバーを向ける(APIキーは任意の文字列でよい)
client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy")
response = client.chat.completions.create(
model="Qwen/Qwen2.5-72B-Instruct",
messages=[
{"role": "system", "content": "あなたは日本語で丁寧に答えるアシスタントです。"},
{"role": "user", "content": "社内文書を検索して答えるAIを作りたいです。最初に何から始めればよいですか?"},
],
max_tokens=500,
)
print(response.choices[0].message.content)
実行します。
python chat.py
ここまでで、H200 1基の上に72B級のLLMのAPIサーバーができました。あとはアプリ側の base_url をこのサーバーに向けるだけで、RAGやチャットボットの開発に使えます。
つまずきやすいポイント
| 症状 | 主な原因 | 対処 |
|---|---|---|
CUDA out of memory で起動しない |
文脈長が長すぎる、またはFP8を指定していない |
--max-model-len を小さくする、--quantization fp8 を付ける |
| ダウンロード中に止まる | ディスク容量の不足 |
df -h で空きを確認し、ディスクを拡張する |
| 手元のPCからAPIにつながらない | ポート8000が閉じている | 外部公開はせず、SSHのポートフォワードを使う(下記) |
| vLLMの起動時にCUDAのエラーが出る | vLLMが想定するCUDAとドライバのバージョンが合っていない |
nvidia-smi の CUDA Version を確認し、それに合うvLLMのバージョンを入れる |
手元のPCからAPIを試したい場合は、ポートを外部に開けるのではなく、SSHのポートフォワードを使うのが安全です。
ssh -i ~/Downloads/ssh-key-test.pem -L 8000:localhost:8000 ubuntu@<Floating IP>
この接続をつないだまま、手元のPCから http://localhost:8000 にアクセスできます。
使い終わったらVMを停止または削除しましょう。 GPUの仮想マシンは起動している間、料金がかかり続けます。
インフラ歴23年の視点から:本番に向けて考えておきたいこと
今回は「まず動かす」ことを優先しました。本番で使う段階になったら、次の点を検討してください。
- API の保護:認証、通信の暗号化、アクセス元の制限
- 社内データとの接続:インターネット経由にするか、閉域網で接続するか
- 可用性:VMが1台止まってもサービスが止まらない構成
- 監視:GPUの温度、メモリ、エラーの監視
まとめ
- H200は141GBのGPUメモリにより、72B級のLLMも1基で動かせます
- vLLMを使えば、OpenAI互換のAPIサーバーをコマンド1つで立ち上げられます
- 小さなモデルで動作確認してから大きなモデルに進むと、つまずいても原因を切り分けやすくなります
H200搭載のGPU仮想マシンを試してみたい方は、FPT AI Factoryにお気軽にご相談ください。
