Zadaraは、NVIDIA の Cloud Provider（NCP）を支援し、マルチテナント推論クラウド向けのNVIDIAソフトウェア・リファレンスアーキテクチャを実現しています。今回はその方法を探ります。
この記事では、NVIDIAの高性能イーサネットネットワーキングプラットフォームであるSpectrum-Xに焦点を当てます。Spectrum-Xを活用して、スケーラブルなマルチテナントAIインフラの要求に応える、テナントごとのセキュアなGPUネットワーキングを、Zadaraがいかに実現したかをお伝えします。
AIクラウドにおける高性能ネットワーキングの役割
現代のAIワークロード、特に生成AIや推論ベースのアプリケーションを動かすものは、高度に分散化され、通信が集中する傾向にあります。
ネットワーキングの性能は、次のふたつのケースで、コンピューティングやメモリと同じくらい重要になります。
- 複数のGPUノードにまたがって大規模言語モデルをトレーニングする場合
- 厳しい遅延制約の下でリアルタイム推論を行う場合
NVIDIA の Spectrum-Xは、専用のエンドツーエンドのイーサネットネットワーキング・プラットフォームです。現代のクラウド環境においてNVIDIA GPUの性能と効率を最大にするために最適化されています。これには以下のものが含まれます：
-
Spectrum-4 イーサネットスイッチ： コンパクトな2Uフォームファクタで最大64ポートの800GbEを提供し、業界をリードする合計51.2テラビット/秒（Tb/s）のスループットを実現します。
スマートリーフ、スパイン、スーパースパインの各層で使えるように設計されており、これらのスイッチはスケーラブルで高性能なAIネットワークファブリックを構築するための基礎となります。 -
BlueField-3 SuperNIC： これらの先進的なネットワークアクセラレータは、GPUサーバー間に最大400GbEのRoCE接続を提供し、NVIDIA GPUDirect® RoCEを有効にしてAIワークロードの効率を最大にします。
Direct Data Placement（DDP）、順序通りのパケット配信、強化されたテレメトリをサポートし、分散型AIアプリケーション全体で一貫した低遅延・高スループットの性能を確保します。
Spectrum-Xは、Remote Direct Memory Access (RDMA) over Converged Ethernet (RoCE) を活用して、帯域幅の効率を向上させ、確実にワークロードを分離します。
テナント間の一貫した動作を維持するため、輻輳回避のためのRoCEアダプティブルーティング、テレメトリ駆動の輻輳制御、パフォーマンス分離の機能が組み込まれています。
適切な設定を行うことで、Spectrum-Xはスケーラブルで高性能なAIネットワーキングを保証します。
AIマルチテナント成功の鍵：自動ネットワーク管理
マルチテナントAIクラウドでは、ネットワークの分離を確保し、テナント間で一貫したパフォーマンスを維持することが不可欠です。
ユーザーの安全で効率的なマルチテナント運用を実現するのが、Spectrum-Xの特徴です。
- トラフィック分離： テナントのトラフィック間を確実に分離します。これによって「うるさい隣人（他のテナントからの影響）」を防ぎ、マルチテナントAI環境のセキュリティを最大にします。
- サービス品質（QoS）と公平なスケジューリング： 各テナントが一貫したネットワークパフォーマンスを受けられること、サービスレベル契約（SLA）が維持されることを保証します。
ただし、これらの機能を使うには、正確なスイッチ設定が必要です。これは「Spectrum-X Compute Network Fabric Optimized for AI Cloud Deployment Guide Featuring NVD HGX Systems.」に詳しく説明されています
マルチテナント・クラウド環境では、GPUリソースがテナント間で割り当て・再割り当てされるのに応じて、これらの設定をリアルタイムで適応させる必要があります。
テナントのトポロジーの変化に合わせて、スイッチ設定を動的かつ自動的に調整する必要があります。そうしないと、リソースのプロビジョニングとスケーリングは手動によるエラーが発生しやすくなり、クラウドユーザーのオンデマンド体験への期待を裏切ってしまいます。
Zadaraの強み：Spectrum-Xをサポートするための機能拡張
Zadaraのプラットフォームアーキテクチャは、以前から安全なマルチテナントクラウド運用をサポートしてきましたが、新しい機能を追加し拡張することで、Spectrum-Xの高性能およびトラフィック分離機能を最大限に活用できるようになりました。
Zadaraは、コンピューティングリソースの配置に基づいてGPU間ネットワーキングのプロビジョニングとオーケストレーションを自動化しました。これによって、現代的なマルチテナントAIクラウドを構築するNVIDIA Cloud Provider（NCP）は、Spectrum-Xを容易に導入できるようになりました。
-
ネットワーク対応のマルチテナント設計： Zadaraのプラットフォームは、ソフトウェア定義ネットワーク（SDN）とテナント分離を統合しています。
VRFを自動的に割り当て、スイッチポートを正しいVRFに割り当てることで、Spectrum-Xのきめ細かな制御機能との互換性を確保します。
この設計により、GPUネットワーキング・ファブリック全体で、安全で自動化された効率的なマルチテナント運用がサポートされます。 -
GPU-Net: 透明性が高くポリシーベースのZadaraのGPUネットワーキング
Zadaraは、GPU-Netのデプロイメントとライフサイクル管理を自動化します。自動化は、Spectrum-4と互換性がありNVIDIAのリファレンスアーキテクチャに準拠した、バックエンド・スイッチングファブリック上で行われます。
GPU-NetはZadaraの仮想プライベートクラウド（VPC）モデルを拡張します。仮想マシン間に専用の東西GPU通信パスを提供します。
これらのパスはユーザー設定不要で、自動的にプロビジョニングされます。
GPUトラフィックを交換できるのは同じVPC内のVMだけなので、高スループット、低遅延、かつ安全な通信が保証されます。
スイッチングファブリックはAPIを介して動的にプログラムされます。これによってZadaraは、テナントのトポロジー変更をリアルタイムで反映できます。 -
大規模環境での一貫した低遅延： Zadaraのオーケストレーションは、GPU-Netの設定と仮想マシンの配置を、Spectrum-Xのレールグループ・トポロジーとインテリジェントに連携させます。このアプローチはNVIDIAのベストプラクティスに従い、常に安定したパフォーマンスを保証します。
これにより、テナントがスケールアップまたはスケールダウンしても、一貫した低遅延の東西GPU通信が確保され、スループットを維持し、輻輳を回避します。
柔軟なGPUインフラストラクチャ： Zadaraは、NCP側の作業を発生させることなく、異なるテナントへの、動的なGPUリソース割り当てをサポートします。
NCPはクラウドからGPUノードを簡単に追加・削除できます。その間、ZadaraのコントロールプレーンはテナントへのGPUリソースのプロビジョニング、ノードとリソースの専用割り当て、クォータの強制を自動的に処理します。
本ブログで特に強調したいのは、GPUトラフィックがネットワークを通じて効率的にルーティングされ、最適なリソース使用率が維持されることです。
結論：
高性能ネットワーキングは、スケーラブルで安全、かつ予測可能なマルチテナントAIクラウドインフラの基盤です。
NVIDIA Spectrum-Xは,GPUデータ移動の標準を確立します。ただし、マルチテナントのユースケースでは、オーケストレーションと管理に大きなオーバーヘッドが伴います。
Spectrum-Xの能力を、NCPが現実のマルチテナント環境で使えるようにするのが、Zadaraのソフトウェアプラットフォームとオーケストレーションレイヤーです。
次回以降は、ZadaraがBlueField-3などのNVIDIAテクノロジーのサポートをどのように拡張しているか、AIクラウドインフラの仮想化、分離、セキュリティに関して考慮すべきことなどを見ていきます。