NVIDIA LaunchPad
NVIDIA LaunchPadは、インターネットブラウザを通じて、エンタープライズ向けのNVIDIAハードウェアとソフトウェアに無料でアクセスできる素晴らしいプラットフォームです。
このプラットフォームを使えば、ガイド付きのハンズオンラボや開発サンドボックスを通じて、AIの力を実際に体験することができます。最新のNVIDIA技術を活用して、自分のアプリケーションやモデルをテスト、プロトタイプ、デプロイすることができるんです。
AI Chatbot with RAG
今回は、企業用に大事にするのRAG（リトリーバル強化型生成） を使用したAI Chatbotを体験しました。
NVIDIA LaunchPad
申し込みの後に、お予想1-2日ぐらいハンズオンラボのリンクが届きます。
ハンズオンラボの画面
リソースタブにいくつのリソースがありますが、今回は主にCode Server IDEとDesktopを使用します。
前提条件
今回導入するAI Chatbotのモデルは、以下のバージョンが必要です。
ハンズオンラボで既に導入済です。
- Ubuntu Linux 22.04
- NVIDIA GPU with at least 80 GB framebuffer (A100 or H100)
- NVIDIA Linux GPU driver version 550
- CUDA version 12.4
LLMの導入
NVIDIA NIM は、LLM（大規模言語モデル）推論のための簡単にデプロイできるマイクロサービスです。
このセクションでは、Llama3-8b モデルを提供する NVIDIA NIM をダウンロードしてデプロイします。
cd /home/nvidia/enterprise-rag-docker_v24.06
source compose.env
docker compose -f docker-compose-nim-ms.yaml --profile llm-embedding up -d nemollm-inference
ラボ既に用意したyamlファイルは以下です。
cat docker-compose-nim-ms.yaml
services:
nemollm-inference:
container_name: nemollm-inference-microservice
image: nvcr.io/nim/meta/llama3-8b-instruct:1.0.0
volumes:
- ${MODEL_DIRECTORY}:/opt/nim/.cache
user: ${DOCKER_USER}
ports:
- "8000:8000"
expose:
- "8000"
environment:
NGC_API_KEY: ${NGC_API_KEY}
shm_size: 20gb
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: ${INFERENCE_GPU_COUNT:-all}
capabilities: [gpu]
profiles: ["llm-embedding", "nemo-retriever"]
networks:
default:
name: nvidia-rag
......
NIMのインストール状況を確認
docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Status}}"
＃アウトプット
CONTAINER ID NAMES STATUS
b1c950073d64 nemollm-inference-microservice Up 3 minutes
1d1f5da726a9 jupyter-notebook Up 5 days
NIMログを確認すると、
docker logs nemollm-inference-microservice | tail
予想される出力（「平均プロンプトスループット」メッセージが表示されるまで数分かかることがあります）:
2025-02-19 14:44:40,540 [INFO] PyTorch version 2.2.2 available.
2025-02-19 14:44:41,423 [WARNING] [TRT-LLM] [W] Logger level already set from environment. Discard new verbosity: error
2025-02-19 14:44:41,424 [INFO] [TRT-LLM] [I] Starting TensorRT-LLM init.
2025-02-19 14:44:46,989 [INFO] [TRT-LLM] [I] TensorRT-LLM inited.
INFO 02-26 02:56:57.782 metrics.py:334] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.0%, CPU KV cache usage: 0.0%
INFO 02-26 02:57:07.783 metrics.py:334] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.0%, CPU KV cache usage: 0.0%
INFO 02-26 02:57:17.783 metrics.py:334] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.0%, CPU KV cache usage: 0.0%
INFO 02-26 02:57:27.784 metrics.py:334] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.0%, CPU KV cache usage: 0.0%
GPU 上で実行中の Python プロセスの表示
nvidia-smi --query-compute-apps=gpu_bus_id,pid,name,used_memory --format=csv
gpu_bus_id, pid, process_name, used_gpu_memory [MiB]
00000000:CA:00.0, 3185884, python3, 72034 MiB
NIM ポートの確認
docker port と netstat を使用して、推論ポートが開いていてアクセス可能であることを確認します。
docker port nemollm-inference-microservice
8000/tcp -> 0.0.0.0:8000
8000/tcp -> [::]:8000
netstatを確認
netstat -na | grep 8000
tcp 0 0 0.0.0.0:8000 0.0.0.0:* LISTEN
tcp6 0 0 :::8000 :::* LISTEN
以上でNVIDIA NIMマイクロサービスが確認済です。
LLM 導入確認およびテスト
まず、モデルエンドポイントをクエリして利用可能な LLM をリストします。
curl -s ‘http://0.0.0.0:8000/v1/models’ | jq .data[].id
“meta/llama3-8b-instruct”
LLM レスポンスの生成
curl -s -X 'POST' 'http://0.0.0.0:8000/v1/chat/completions' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{
"messages": [
{
"content": "You are a polite and respectful chatbot helping people plan a vacation.",
"role": "system"
},
{
"content": "What should I do for a 4 day vacation in Spain?",
"role": "user"
}
],
"model": "meta/llama3-8b-instruct",
"max_tokens": 128,
"top_p": 1,
"n": 1,
"stream": false,
"stop": "\n",
"frequency_penalty": 0.0
}' | jq .choices[].message
{
“role”: “assistant”,
“content”: “Spain is a fantastic destination! With only 4 days, I recommend focusing on one or two cities to make the most of your time. Here’s a suggested itinerary for you:”
}
以上でNvidia NIMによりLlama3-8bのLLMの導入が確認しました。
Embedding機能の実装
NeMo Retriever Embedding NIM は、テキストをベクトルに変換するマイクロサービスです。これらのベクトルは、検索システムによって効率的に検索できます。
まずは、HuggingFace から Snowflake の Arctic-Embed-Large embeddingモデルをデプロイするための変数の設定
cd /home/nvidia/enterprise-rag-docker_v24.06
source compose.env
grep EMBEDDING compose.env
結果：
export EMBEDDING_MS_GPU_ID=0
export APP_EMBEDDINGS_MODELNAME=“NV-Embed-QA”
export EMBEDDING_MODEL_CKPT_NAME=“snowflake-arctic-embed-l”
export EMBEDDING_MODEL_PATH=“https://huggingface.co/Snowflake/snowflake-arctic-embed-l”
Docker Compose を使用して、Embeddingマイクロサービスコンテナをデプロイします。
docker compose -f docker-compose-nim-ms.yaml --profile llm-embedding up -d nemollm-embedding
出力（完了までに最大 2 分かかることがあります）:
[+] Running 3/3
✔ Container nemollm-embedding-download-ngc Exited 1.0s
✔ Container nemo-retriever-embedding-microservice Started 1.3s
✔ Container nemollm-embedding-download-hf Exited
docker ps コマンドを使用して、実行中のコンテナを表示します。
docker ps --format “table {{.ID}}\t{{.Names}}\t{{.Status}}”
出力（完了までに最大 2 分かかることがあります）:
CONTAINER ID NAMES STATUS
ce5cb5d87128 nemo-retriever-embedding-microservice Up 2 minutes (healthy)
b1c950073d64 nemollm-inference-microservice Up 19 minutes
1d1f5da726a9 jupyter-notebook Up 5 days
GRPC サービスが開始されたことの検証
docker logs コマンドを使用して、GRPC サービスが開始されたことを確認します。
docker logs nemo-retriever-embedding-microservice | grep Started
I0619 23:45:12.863107 89 grpc_server.cc:2513] Started GRPCInferenceService at 0.0.0.0:8001
I0619 23:45:12.863321 89 http_server.cc:4497] Started HTTPService at 0.0.0.0:8000
I0619 23:45:12.905035 89 http_server.cc:270] Started Metrics Service at 0.0.0.0:8002
docker port コマンドと netstat コマンドを使用して、ポートが開いていてアクセス可能であることを確認します。
docker port nemo-retriever-embedding-microservice
9080/tcp -> 0.0.0.0:9080
9080/tcp -> [::]:9080
netstatで確認します。
netstat -na | grep 9080
tcp 0 0 0.0.0.0:9080 0.0.0.0:* LISTEN
tcp6 0 0 :::9080 :::* LISTEN
Triton 推論サーバーが GPU で実行されていることの確認
nvidia-smi コマンドを使用して、Triton 推論サーバーが GPU で実行されていることを確認します。
nvidia-smi --query-compute-apps=gpu_bus_id,pid,name,used_memory --format=csv
gpu_bus_id, pid, process_name, used_gpu_memory [MiB]
00000000:CA:00.0, 3185884, python3, 72056 MiB
00000000:CA:00.0, 3203778, tritonserver, 478 MiB
00000000:CA:00.0, 3204038, /opt/tritonserver/backends/python/triton_python_backend_stub, 2160 MiB
00000000:CA:00.0, 3204039, /opt/tritonserver/backends/python/triton_python_backend_stub, 2160 MiB
Embeddingモデルのテスト
まず、モデル名を表示するためにモデルエンドポイントをクエリします。
curl -s "http://0.0.0.0:9080/v1/models" | jq .data[].id
結果：
"NV-Embed-QA"
次に、例として「Hello world」という‘input’をエンドポイントにPOSTします。これにより、浮動小数点ベクトルが生成されるはずです。
curl -s -X "POST" "http://0.0.0.0:9080/v1/embeddings" -H 'accept: application/json' -H 'Content-Type: application/json' -d '{
"input": ["Hello world"],
"model": "'NV-Embed-QA'",
"input_type": "query"
}' | jq . | tail -n 20
結果：
-0.034027099609375,
0.0231170654296875,
-0.007396697998046875,
0.03729248046875,
-0.01416778564453125,
0.0168304443359375,
-0.00650787353515625,
-0.035430908203125,
-0.00525665283203125,
-0.0168914794921875
],
"object": "embedding"
}
],
"model": "NV-Embed-QA",
"usage": {
"prompt_tokens": 0,
"total_tokens": 0
}
}
以上、Embeddingサービスが確認しました。
ベクトルデータベースのデプロイ
ベクトルデータベースは、RAG（Retrieval-Augmented Generation）を活用したAIチャットボットにおいて重要な役割を果たします。
ベクトルembeddingはインデックス化と呼ばれるプロセスを通じてデータベースに保存され、検索時には高度なパターンマッチングアルゴリズムでベクトルが検索されます。
Milvusは高性能でスケーラブルなベクトルデータベースであり、インデックスと検索操作の両方でGPUアクセラレーションをサポートしています。
Docker Composeを使用してMilvusデータベースをデプロイする
docker compose -f docker-compose-vectordb.yaml --profile llm-embedding up -d milvus
[+] Running 3/0
✔ Container milvus-minio Running 0.0s
✔ Container milvus-etcd Running 0.0s
✔ Container milvus-standalone Running
ベクトルデータベースのインストールを確認する
実行中のコンテナを表示します。
docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Status}}" --filter Name=milvus*
CONTAINER ID NAMES STATUS
ae0178812ede milvus-standalone Up 3 minutes
f6d9d8064853 milvus-minio Up 3 minutes (healthy)
c46b4832fc89 milvus-etcd Up 3 minutes (healthy)
各コンテナのポートを表示します。
for i in standalone minio etcd; do echo "milvus-$i" && docker port milvus-$i; done
milvus-standalone
9091/tcp -> 0.0.0.0:9091
9091/tcp -> [::]:9091
19530/tcp -> 0.0.0.0:19530
19530/tcp -> [::]:19530
milvus-minio
9010/tcp -> 0.0.0.0:9010
9010/tcp -> [::]:9010
9011/tcp -> 0.0.0.0:9011
9011/tcp -> [::]:9011
milvus-etcd
ポートが公開されていることを確認します。
netstat -tulpn | grep 19530
(Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.)
tcp 0 0 0.0.0.0:19530 0.0.0.0:* LISTEN -
tcp6 0 0 :::19530 :::* LISTEN -
ベクトルデータベースに割り当てられたGPUフレームバッファを表示する
GPUメモリ使用量を表示するためにnvidia-smiを使用します。デフォルトでは、MilvusはGPUの空きメモリの半分を予約します。
nvidia-smi --query-compute-apps=gpu_bus_id,pid,name,used_memory --format=csv
gpu_bus_id, pid, process_name, used_gpu_memory [MiB]
00000000:CA:00.0, 3185884, python3, 72316 MiB
00000000:CA:00.0, 3203778, tritonserver, 478 MiB
00000000:CA:00.0, 3204038, /opt/tritonserver/backends/python/triton_python_backend_stub, 2160 MiB
00000000:CA:00.0, 3204039, /opt/tritonserver/backends/python/triton_python_backend_stub, 2160 MiB
00000000:CA:00.0, 3228474, milvus, 1438 MiB
ここでは、milvus-standaloneコンテナ内のmilvus.yamlを検証して、Milvusに利用可能なGPUメモリの初期サイズと最大サイズを指定します。
docker exec -it milvus-standalone grep -A 2 gpu /milvus/configs/milvus.yaml
gpu:
initMemSize: # Gpu Memory Pool init size
maxMemSize: # Gpu Memory Pool Max size
RAGパイプラインのデプロイとテスト
完全なRAGパイプラインには、以下のマイクロサービスが含まれます：
- RAGアプリケーションテキストチャットボット
- RAGプレイグラウンド
- NeMo推論マイクロサービス
- NeMoリトリーバーembeddingマイクロサービス
- Milvusベクトルデータベース
テキストQAチャットボットのアーキテクチャは以下の図に示されています：
アプリケーションコンテナのデプロイ
NeMo推論マイクロサービス、NeMoリトリーバーembeddingマイクロサービスとMilvusベクトルデータベースの準備が整いたので、最後にRAGのチェットボットとプレイグラウンドをデプロイします。
cd /home/nvidia/enterprise-rag-docker_v24.06
source compose.env
docker compose -f rag-app-text-chatbot.yaml up -d
cat rag-app-text-chatbot.yaml
services:
chain-server:
container_name: rag-application-text-chatbot
image: nvcr.io/ohlfw0olaadg/ea-participants/rag-application-text-chatbot:24.06
command: --port 8081 --host 0.0.0.0
environment:
APP_VECTORSTORE_URL: "http://milvus:19530"
APP_VECTORSTORE_NAME: "milvus"
APP_LLM_MODELNAME: ${APP_LLM_MODELNAME:-"meta/llama3-8b-instruct"}
APP_LLM_MODELENGINE: nvidia-ai-endpoints
APP_LLM_SERVERURL: ${APP_LLM_SERVERURL:-"nemollm-inference:8000"}
APP_EMBEDDINGS_SERVERURL: ${APP_EMBEDDINGS_SERVERURL:-"nemollm-embedding:9080"}
APP_EMBEDDINGS_MODELNAME: ${APP_EMBEDDINGS_MODELNAME:?please update the env file and source it before running}
APP_EMBEDDINGS_MODELENGINE: nvidia-ai-endpoints
NVIDIA_API_KEY: ""
COLLECTION_NAME: canonical_rag
APP_RETRIEVER_TOPK: 4
APP_RETRIEVER_SCORETHRESHOLD: 0.25
APP_TEXTSPLITTER_CHUNKSIZE: 506
APP_TEXTSPLITTER_CHUNKOVERLAP: 200
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4317
OTEL_EXPORTER_OTLP_PROTOCOL: grpc
ENABLE_TRACING: false
LOGLEVEL: ${LOGLEVEL:-INFO}
ports:
- "8081:8081"
expose:
- "8081"
shm_size: 5gb
rag-playground:
container_name: rag-playground
image: nvcr.io/ohlfw0olaadg/ea-participants/rag-playground:24.06
environment:
CHAIN_SERVER: "http://chain-server"
CHAIN_SERVER_PORT: "8081"
OTEL_EXPORTER_OTLP_ENDPOINT: http://otel-collector:4317
OTEL_EXPORTER_OTLP_PROTOCOL: grpc
ENABLE_TRACING: false
ports:
- "3001:3001"
expose:
- "3001"
depends_on:
- chain-server
networks:
default:
name: nvidia-rag
[+] Running 2/2
✔ Container rag-application-text-chatbot Started 1.9s
✔ Container rag-playground Started 0.8s
実行中のコンテナを表示
docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Status}}"
CONTAINER ID NAMES STATUS
436ae7c030c7 rag-playground Up 11 minutes
a7f9b9b9ffd8 rag-application-text-chatbot Up 11 minutes
ae0178812ede milvus-standalone Up 16 hours
f6d9d8064853 milvus-minio Up 16 hours (healthy)
c46b4832fc89 milvus-etcd Up 16 hours (healthy)
ce5cb5d87128 nemo-retriever-embedding-microservice Up 16 hours (healthy)
b1c950073d64 nemollm-inference-microservice Up 16 hours
1d1f5da726a9 jupyter-notebook Up 5 days
各コンテナが使用するポートを表示し、アクセス可能であることを確認
for i in $(docker ps --format "table {{.Names}}" | grep ^rag); do echo $i && docker port $i; done
rag-playground
3001/tcp -> 0.0.0.0:3001
3001/tcp -> [::]:3001
rag-application-text-chatbot
8081/tcp -> 0.0.0.0:8081
8081/tcp -> [::]:8081
ポートがリスニング状態であることを確認
netstat -na | egrep '3001|8081'
tcp 0 0 0.0.0.0:8081 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:3001 0.0.0.0:* LISTEN
tcp 0 0 172.16.0.126:33618 192.168.34.20:8081 TIME_WAIT
tcp 0 0 172.16.0.126:58766 192.168.34.20:8081 TIME_WAIT
tcp6 0 0 :::8081 :::* LISTEN
tcp6 0 0 :::3001 :::* LISTEN
RAG UIにアクセス
- サイドバーのデスクトップリンクを選択するか、ここをクリックしてデスクトップセッションを開きます。
- デスクトップ環境内でウェブブラウザを開きます。
- http://0.0.0.0:3001 にアクセスしてRAGプレイグラウンドのWebインターフェースを開きます。
- テキストQAチャットボットのモデルカードをクリックします。
RAGプレイグラウンドのWeb UIには以下が含まれます：
- 質問をしてLLMをクエリするためのデモタブ
- ドキュメントをアップロードするためのナレッジベースタブ
- RAGプレイグラウンドAPIを説明するドキュメンテーションタブ
質問をする
ナレッジベース使用しなく、モデルが知らない最近の歴史についての質問をします：
What were the top 5 most requested pop songs of 2023?
結果は以下です。
ナレッジベース使用すると：
IDEに戻して、RAGアプリケーションコンテナーログを確認します。
docker logs -t --tail 10 rag-application-text-chatbot
2025-02-25T09:01:15.924694860Z chatbot: The top 5 most requested pop songs of 2023 are:
2025-02-25T09:01:15.924700246Z
2025-02-25T09:01:15.924705128Z 1. Morgan Wallen - Last Night
2025-02-25T09:01:15.924710046Z 2. Miley Cyrus - Flowers
2025-02-25T09:01:15.924715406Z 3. Taylor Swift - Cruel Summer
2025-02-25T09:01:15.924720989Z 4. Dua Lipa - Dance the Night
2025-02-25T09:01:15.924726604Z 5. Luke Combs - Fast Car
2025-02-25T09:01:15.924731470Z **************************************************
2025-02-25T09:01:15.924736615Z
2025-02-25T09:01:15.924741150Z
最後に
このハンズオンラボを通じて、RAGを活用したAIチャットボットの実装を初めて体験することができました。NVIDIA LaunchPadの提供する環境は非常に使いやすく、ステップバイステップのガイドに従うことで、スムーズにデプロイメントを行うことができました。これからもこのような最新技術を活用して、さらに多くのプロジェクトに挑戦していきたいと思います。
皆さんもぜひNVIDIA LaunchPadを試してみてください！新しい発見と学びが待っています。