0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

人工知能および高性能計算データセンター向け InfiniBand NDR/XDR

Posted at

InfiniBand技術は、高性能計算(HPC)、人工知能(AI)、データセンターのネットワーク基盤として継続的に進化を続けています。NDR(Next Data Rate:次世代データレート)およびXDR(eXtreme Data Rate:極限データレート)規格の登場により、InfiniBandはこれまでにない高い帯域幅、低遅延、そしてスケーラビリティを提供し、現代のワークロードの厳しい要求に応えることが可能になりました。

InfiniBand NDR/XDR技術とは何ですか?
InfiniBand NDRは、各ポートあたり400 Gb/sの伝送速度を実現する次世代のInfiniBand規格です。この高速データ伝送は、PAM4変調方式と先進的なSerDes技術によって達成されています。スイッチ構成では、64個の400 Gb/sポートまたは128個の200 Gb/sポートをサポートするなど、大規模な構成が可能であり、大規模クラスタ構築に最適な選択肢となっています。
XDRはNDRをさらに進化させた規格で、各ポートの伝送速度は800 Gb/sに達し、ポート集約時には最大1.6 Tb/sのスループットを実現します。また、ネットワーク内計算(In-Network Computing)の強化機能などを備えており、特にAIアプリケーションの高速化に大きく貢献します。
NDRは従来世代のHDR(200 Gb/s)から速度を倍増させるとともに効率を向上させた進化形であり、XDRはその次の飛躍を表しています。XDRは、2025年頃に予定されるエクサスケール(百億億回演算)コンピューティングや大規模AIモデルの実現に向けた重要な技術基盤となることを目指しています。

人工知能および高性能計算アプリケーションの主な利点
NDRおよびXDR InfiniBandソリューションは、超低遅延(サブマイクロ秒レベル)、並列処理を支える高帯域幅、そしてNVIDIA SHARPなどの技術によるネットワーク内計算(In-Network Computing)を実現し、集団演算の速度を最大32倍に向上させます。これらの利点はAIトレーニングにおいて極めて重要です。AIトレーニングでは、GPU間のデータ移動がシームレスに行われる必要があり、大規模モデルにおけるボトルネックを大幅に低減できます。

高性能計算(HPC)分野では、数百万ノードを超えるシミュレーションをサポートし、気候モデリング、創薬、科学研究などのアプリケーションを強力に支えます。さらに、自癒ネットワークや適応型ルーティングなどの機能により高い信頼性を確保し、より優れたエネルギー効率を実現することで、持続可能なデータセンターの理想的な選択肢となっています。

InfiniBandスイッチ
InfiniBandスイッチは、これらのネットワークのバックボーンを構成し、高密度環境向けにスケーラブルな相互接続を提供します。

NVIDIA Quantum™-2 InfiniBandスイッチ (NDR)
NVIDIA Quantum-2スイッチシリーズには、MQM9790-NS2FやMQM9700-NS2Fなどのモデルがあり、コンパクトな1Uラックマウント設計を採用しています。32個のOSFPコネクタを搭載し、64個の400 Gb/sポートまたは128個の200 Gb/sポートを提供可能です。第3世代SHARPチップを統合しており、ネットワーク内集約、MPIアクセラレーション、高度な輻輳制御をサポートしています。
前世代製品と比較してポート密度が3倍、システム容量が5倍に向上しており、Dragonfly+トポロジーをサポートすることで、100万ノードを超えるネットワーク構築が可能となっています。

NVIDIA Quantum-X800 InfiniBandスイッチ (XDR)
Quantum-X800シリーズスイッチ(例: Q3200-RA、Q3400-RA)は、OSFPインターフェースを採用し、144個の800 Gb/sポートを提供します。Quantum-3 ASICチップによって駆動され、第4世代SHARP v4チップを搭載しています。これにより、超低遅延、自癒機能、シリコンフォトニクス技術が実現され、性能が大幅に向上します。
Q3200-RAなどのデュアルスイッチシャーシモデルは72個の800 Gb/sポートを提供し、1.6 Tb/sの集約帯域幅を必要とするAIクラスタに最適な選択肢となっています。

光モジュールおよびトランシーバー
光モジュールおよびトランシーバーは、InfiniBandネットワークにおいて高速かつ低損失のデータ伝送を実現する中核コンポーネントです。NDRおよびXDR技術の進歩に伴い、これらのモジュールは先進的な変調方式(例: PAM4)やパッケージ形式(例: OSFPおよびOSFP-XD)を採用し、400 Gb/sから1.6 Tb/sまでの帯域幅をサポートしています。これらは人工知能データセンターや高性能計算(HPC)環境に最適です。
近年、シリコンフォトニクスやリニア駆動光(LPO)などの革新的技術により、消費電力とコストをさらに低減しつつ、性能と集積度を向上させています。

OSFP-SR8-800G InfiniBand光モジュール技術概要(NDR/XDR)
OSFP-SR8-800Gは、デュアルポートの2×400 Gb/s(合計速度800 Gb/s)マルチモード光ファイバーモジュールです。8チャネル100G-PAM4変調を採用しており、MPO-12/APC光ファイバー上で最大50メートルの伝送距離を実現します。高密度スイッチを実現するためにデュアル光エンジンを統合しています。
本モジュールはシリコンフォトニクス技術を活用し、低挿入損失と優れた信号対雑音比を確保しており、短距離データセンター相互接続に理想的な選択肢です。実際の導入では、NVIDIA Quantum-2またはQuantum-X800スイッチとシームレスに互換性を発揮し、ホットプラグ対応およびデジタル診断監視(DDM)機能をサポートしています。これにより、温度、消費電力、信号完全性をリアルタイムで監視することが可能です。

1.6T OSFP光トランシーバー(XDR専用)
XDR専用に設計された1.6T OSFPトランシーバー(例: 2×DR4/DR8モデル)は、1310nm波長で単モード光ファイバーを介して最大500メートルの伝送を実現します。Broadcomの5nm DSPプロセスを採用することで、消費電力を≤30Wに抑えています。これらはデュアルポート800 Gb/s構成をサポートしており、AIデータセンターにおける1.6 Tb/sリンクの実現に不可欠です。
さらに、伝送距離を拡張したFR4(最大2km)およびLR4(最大10km)モデルも用意されており、CWDMまたはDWDM波分復用技術を活用することで、さまざまな規模のデータセンターに対応可能です。また、統合されたLPO(リニア駆動光デバイス)技術により、低遅延性能を維持しつつ消費電力を20W以下までさらに低減できるため、大規模AIトレーニングクラスタに最適な選択肢となっています。

InfiniBand OSFP-400G-SR4 光モジュール(NDR)
OSFP-400G-SR4は、シングルポート400 Gb/sのマルチモードトランシーバーで、NDR(Next Data Rate)アプリケーション向けに設計されています。MPO-12光ファイバーを使用して最大50メートルの伝送距離をサポートします。このモジュールは、スイッチからHCA(Host Channel Adapter)への接続を目的としており、低誤り率(BER < 10⁻¹⁵)を保証し、Quantum-2エコシステムと完全に互換性があります。
実際の導入では、主に短距離のサーバーからスイッチへのリンクに使用され、ブレークアウトケーブル構成(例: 400G → 4×100G)にも対応することで、EDR/HDRシステムへの下位互換性を確保しています。NVIDIA LinkXシリーズでは認定済みバージョンが提供されており、互換性の問題がゼロで長期的な安定性が保証されます。

光モジュールの選択における考慮事項
InfiniBand光モジュールを選択する際には、以下の複数の要因を考慮する必要があります。

伝送距離:短距離用のSRモジュールはラック内接続に最適です。一方、DR/FRモジュールはラック間やフロア間接続に適しています。
パワーバジェット:電力消費と熱設計の制約。
互換性:NVIDIAの相互接続要件への適合性(ケーブルタイプ、誤り率(BER)テストを含む)。
コスト:性能と予算のバランス。

さらに、2025年のトレンドとして、急増する人工知能需要が光モジュールのサプライチェーン最適化を加速させており、世界中のデータセンター拡張に対応するため、生産能力が倍増すると予想されています。

NDR/XDR光接続の典型的な適用シーン
以下は、NDRおよびXDR InfiniBandネットワークにおける光接続の主な適用シナリオです。
(1)ラック内GPUノード相互接続
ソリューション:DAC(Direct Attach Copper:直接接続銅ケーブル)
特徴:

超低遅延
伝送距離0〜3メートル
低消費電力

同一ラック内のGPUとスイッチを直接接続するのに最適な選択肢です。短距離で最高の性能とコスト効率を提供します。

(2)ラック間GPUクラスタ相互接続
ソリューション:AOC(Active Optical Cable:アクティブ光ケーブル)
特徴:

伝送距離10〜100メートル
柔軟な配線が可能

隣接するラックや複数ラックにまたがるGPUクラスタの展開に適しています。銅ケーブルでは距離が足りない場合に有効なソリューションです。

(3)データセンター内のTOR/リーフ・スパイン・ネットワーク
ソリューション:マルチモード/シングルモード光ファイバージャンパー
特徴:

伝送距離100〜500メートル
典型的な分岐速度:800G → 4×200G または 400G → 4×100G
スイッチ間相互接続や部屋間接続に広く利用

データセンター内の葉脊(Leaf-Spine)アーキテクチャやTOR(Top-of-Rack)スイッチ接続に標準的に採用されています。

(3)データセンター内のTOR/リーフ・スパイン・ネットワーク
ソリューション:マルチモード/シングルモード光ファイバージャンパー
特徴:

伝送距離100〜500メートル
典型的な分岐速度:800G → 4×200G または 400G → 4×100G
スイッチ間相互接続や部屋間接続に広く利用

データセンター内の葉脊(Leaf-Spine)アーキテクチャやTOR(Top-of-Rack)スイッチ接続に標準的に採用されています。

(4)人工知能スーパーコンピューティングのバックボーン相互接続
ソリューション:長距離光モジュールを使用したシングルモード光ファイバー(例:DR4、FR4、LR4)
特徴:

伝送距離500メートル〜10キロメートル
大規模GPUクラスタや複数階層・キャンパス規模のAIファクトリーを高速で接続

エクサスケール級AIトレーニングや大規模推論クラスタなど、データセンター全体や複数建物にまたがる広域接続に必要不可欠です。

これらのソリューションを組み合わせることで、NDR/XDR InfiniBandネットワークは、短距離から長距離まで柔軟かつ高性能な接続を実現し、現代のAIおよびHPCワークロードに対応しています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?