強力なインネットワーク・コンピューティング・プラットフォームであるInfiniBandは、高性能コンピューティング（HPC）、人工知能（AI）、ハイパースケールクラウドインフラを変革する上で極めて重要な役割を果たし、比類ないパフォーマンスを実現します。InfiniBandは、主にサーバーサイドの接続用に設計されており、サーバー間の通信を促進し、ストレージデバイスとネットワークを接続する上で重要な役割を果たしています。InfiniBand Industry Associationによって支持され、このテクノロジーは、権威あるTOP500リストの主要な相互接続ソリューションとして浮上しています。注目すべきは、システムの44.4%が相互接続にInfiniBandを利用していることで、リストの40.4%を占めるイーサネット技術を上回っています。この記事では、InfiniBandとイーサネットの違いを掘り下げます。
InfiniBandとイーサネットの違い
InfiniBandとは？
InfiniBandは、InfiniBand Trade Association（IBTA）の指導の下で育成され、標準化された通信仕様として機能しています。この仕様は、データセンターの広大なランドスケープにおいて、サーバー、通信インフラ機器、ストレージソリューション、および組み込みシステムを相互接続するために明示的に作成されたスイッチファブリックアーキテクチャを定義しています。標準化を重視することで、HPCネットワーキング環境における多様なコンポーネントのシームレスな統合と効率的な通信が保証されます。
高帯域幅と低レイテンシーで定評のあるInfiniBandは、4倍のリンク幅接続で、FDR 56Gbps、EDR 100Gbps、HDR 200Gbps、NDR 400Gbps/800Gbps/秒のスループットといった驚異的な速度を誇ります。エキサイティングなことに、さらなる高速化が視野に入っています。
InfiniBandはスケーラビリティに優れ、1つのサブネット内に数万ノードを収容できるため、ハイパフォーマンス・コンピューティング（HPC）環境に最適です。サービス品質（QoS）とフェイルオーバー機能を備えたInfiniBandは、イーサネット、ファイバチャネル（FC）、TCP/IPネットワークと並んで、NVMe-oF（Non Volatile Memory Express over Fabrics）ストレージプロトコルの主要なネットワークファブリックです。データセンターにInfiniBandを採用することで、比類ないパフォーマンスとスケーラビリティを実現できます。
イーサネットとは？
Xerox、Intel、DECによって考案されたイーサネットは、LAN仕様の標準として機能し、ケーブルを介したデータ伝送を行うローカルエリアネットワーク（LAN）で最も広く採用されている通信プロトコルです。ゼロックスは1970年代に有線通信技術としてのイーサネットを開発し、LANや広域ネットワーク（WAN）内の機器を接続しました。その多用途性は、プリンターからノートパソコンに至るまで、ビル、住宅、小規模コミュニティにまたがるさまざまなデバイスをつなぐことにまで及んでいます。ユーザーフレンドリーなインターフェースにより、ルーターとイーサネット接続だけで、スイッチ、ルーター、PCなどのデバイスを組み込んだLANを簡単に構築できます。
多くの場所で無線ネットワークが普及しているにもかかわらず、イーサネットは、その信頼性と干渉への耐性により、有線ネットワーキングの有力な選択肢として存続しています。長年にわたり、イーサネットは何度も改良を重ね、常に適応し、その機能を拡張してきました。今日、イーサネットは世界的に最も広く利用されているネットワーク技術の1つとなっています。
現在、IEEE傘下のIEEE 802.3標準化機構は、100GE、200GE、400GE、800GEを含むイーサネット・インターフェイス標準を発行しており、イーサネット技術の強化・進歩に向けた継続的な取り組みを反映しています。
InfiniBand vs イーサネット
InfiniBandは、ハイパフォーマンス・コンピューティング・シナリオにおけるクラスタ・データ伝送のボトルネックを緩和するという特定の目的で登場しました。時が経つにつれて、InfiniBandは広く採用される相互接続規格へと進化し、現代の要件に効果的に対応しています。InfiniBandとイーサネットの主な違いは、帯域幅、レイテンシー、ネットワークの信頼性、ネットワーク手法に現れています。
帯域幅
帯域幅に関しては、InfiniBandはイーサネットよりも急速な進歩を遂げており、その主な理由はハイパフォーマンス・コンピューティング環境での利用やCPU負荷を軽減する能力にあります。これとは対照的に、イーサネットは端末機器の相互接続が主な用途であり、InfiniBandほど高い帯域幅を必要としません。
レイテンシー
ネットワーク遅延の領域では、InfiniBandとイーサネットの処理フローは大きく異なります。InfiniBandはスイッチのカットスルーテクノロジーを活用し、転送遅延を100ns未満に大幅に短縮します。対照的に、イーサネット スイッチでは、IP、MPLS、QinQなどのサービスによって導入される複雑さが原因で、処理フローが長くなります。
信頼性
ネットワークの信頼性が最優先される高性能コンピューティングの領域では、InfiniBandが、その明確に定義されたレイヤー1からレイヤー4までのフォーマットでリードし、エンドツーエンドのフロー制御によってロスレス・ネットワークを保証しています。逆に、イーサネットにはスケジューリングベースのフロー制御メカニズムがなく、メッセージを一時的に格納するために、より大きなチップ面積に依存しています。このアプローチは、イーサネットのコストと消費電力の増加を招きます。
ネットワーキング方法論
ネットワーク管理の面では、SDN（Software-Defined Networking）のコンセプトが統合されているため、InfiniBandはイーサネットよりも簡単です。InfiniBandでは、各レイヤー2ネットワーク上にサブネットマネージャーが存在し、ノードのコンフィグレーションと転送パス情報の計算を容易にします。対照的に、イーサネットはMACエントリ、IP、ARPプロトコルを必要とし、複雑なレイヤーを追加します。また、イーサネットはエントリー更新のために定期的なパケット送信に依存し、仮想ネットワークをセグメント化してその規模を制限するためにVlanメカニズムを採用しています。このような複雑さは、ループネットワークの可能性を含む課題をもたらし、STPのような追加プロトコルを必要とします。
InfiniBand製品の調査
InfiniBandスイッチ ＆ NIC
まとめると、InfiniBandとイーサネットの比較は、InfiniBandネットワークの顕著な利点を強調しています。高性能データセンターへのInfiniBandスイッチの導入を検討されている方には、さらに詳しい情報を提供します。InfiniBandネットワークは、SDR 10Gbps、DDR 20Gbps、QDR 40Gbps、FDR 56Gbps、EDR 100Gbps、そして現在ではHDR 200Gbps、NDR 400Gbps/800Gbps InfiniBandへと、急速な進化を遂げています。これらの進歩は、RDMA（リモート・ダイレクト・メモリー・アクセス）の統合によって可能になりました。
FSは、NVIDIA Quantum™-2 NDR InfiniBand 400GおよびNVIDIA Quantum™ HDR InfiniBand 200Gデータセンター・スイッチを提供しており、マネージドおよびアンマネージドの両方の構成で利用可能です。多様な顧客ニーズに対応するため、400Gスイッチには1年、3年、5年のサービスサポートオプションが用意されています。
| 種類 | スピード | スイッチチップ | ポート | 特徴 | メーカー |
|---|---|---|---|---|---|
| MQM9790-NS2F | 400G | NVIDIA QUANTUM-2 | 64 x NDR 400G | アンマネージド | Mellanox |
| MQM9700-NS2F | 400G | NVIDIA QUANTUM-2 | 64 x NDR 400G | マネージド | Mellanox |
| MQM8790-HS2F | 200G | NVIDIA QUANTUM | 40 x HDR QSFP56 | アンマネージド | Mellanox |
| MQM9790-NS2F | 200G | NVIDIA QUANTUM | 40 x HDR QSFP56 | マネージド | Mellanox |
InfiniBand Modules
| 製品 | 応用 | コネクタ |
|---|---|---|
| 40Gトランシーバー | InfiniBand FDR10 | MTP/MPO-12 |
| 100Gトランシーバー | InfiniBand EDR | MTP/MPO-12 |
| 200Gトランシーバー | InfiniBand HDR | MTP/MPO-12 |
| 400Gトランシーバー | InfiniBand NDR | MTP/MPO-12 APC |
| 800G Transceiver | InfiniBand NDR | デュアルMTP/MPO-12 APC |
InfiniBand DAC
| 製品 | 応用 | コネクタ | 長さ |
|---|---|---|---|
| 40G DACケーブル | InfiniBand FDR10 | QSFP+/QSFP+ | 0.5m、1m、1.5m、2m、3m、4m、5m |
| 56G DACケーブル | InfiniBand FDR | QSFP+/QSFP+ | 0.5m、1m、1.5m、2m、3m、4m、5m |
| 100G DACケーブル | InfiniBand EDR | QSFP28/QSFP28 | 0.5m、1m、1.5m、2m、3m |
| 200G DACケーブル | InfiniBand HDR | QSFP56/QSFP56;QSFP56/2 QSFP56 | 0.5m、1m、1.5m、2m、3m、5m、7m |
| 400G DACケーブル | InfiniBand HDR | OSFP/2x QSFP56 | 1m、1.5m、2m |
| 800G DACケーブル | InfiniBand NDR | OSFP/OSFP;OSFP to 2× OSFP;OSFP/4× OSFP | 0.5m、1m、1.5m、2m |
InfiniBand AOC
| 製品 | 応用 | コネクタ | 長さ |
|---|---|---|---|
| 40G AOCケーブル | InfiniBand FDR10 | QSFP+/QSFP+ | 1m、3m、5m、7m、10m、15m、20m、25m、30m、50m、100m |
| 56G AOCケーブル | InfiniBand FDR | QSFP+/QSFP+ | 1m、2m、3m、5m、10m、15m、20m、25m、30m、50m、100m |
| 100G AOCケーブル | InfiniBand EDR | QSFP28/QSFP28 | 1m、2m、3m、5m、7m、10m、15m、20m、30m、50m、100m |
| 200G AOCケーブル | InfiniBand HDR | QSFP56 /QSFP56;QSFP56/2 QSFP56; 2x QSFP56/2x QSFP56 | 1m、2m、3m、5m、10m、15m、20m、30m、50m、100m |
| 400G AOCケーブル | InfiniBand HDR | OSFP/2x QSFP56 | 3m、5m、10m、15m、20m、30m |
InfiniBand標準の概要
InfiniBand NDR (Next-Generation Data Rate):
InfiniBand NDRカテゴリには、InfiniBand 400Gbase/800GbaseトランシーバとDACが含まれ、MQM9700/MQM9790シリーズなどのメラノックスNDR 400Gbスイッチと互換性があるように設計されています。これらのコンポーネントは、GPU加速コンピューティングにおける高性能接続を可能にし、コストを最大50%削減する可能性があります。これらのコンポーネントは、InfiniBand 400Gb/800Gbネットワークにおける高性能コンピューティング（HPC）、クラウドコンピューティング、モデルレンダリング、ストレージに適しています。
InfiniBand HDR (High Data Rate):
FSのInfiniBand HDR接続製品ラインは、200Gb/秒および400Gb/秒QSFP56 IB HDR MMFアクティブ/パッシブ光ケーブル（AOC）、アクティブ/パッシブ直接接続銅線ケーブル（DAC）、光トランシーバ・ルーター、200Gスイッチなど、さまざまなソリューションを提供します。モジュールとケーブルは、MQM8700/MQM8790のようなスイッチをNVIDIA GPU（A100/H100/A30）やCPUサーバー、ConnectX-5/6/7 VPIのようなストレージネットワークアダプターに接続します。これらは、最大50%の節約の可能性があり、モデルレンダリング、人工知能（AI）、ディープラーニング（DL）、InfiniBand HDRのNVIDIAアプリケーションネットワーキングを含む、GPU加速ハイパフォーマンスコンピューティング（HPC）クラスタアプリケーションに有利です。
InfiniBand EDR (Enhanced Data Rate):
InfiniBand EDR製品ラインは、InfiniBand 100Gbase QSFP28EDR AOC、EDR DAC、AOC、トランシーバで構成されています。これらの製品は、GPUアクセラレーション・コンピューティングにおける高性能接続のためのコスト効率に優れたソリューションを提供します。
InfiniBand FDR (Fourteen Data Rate):
InfiniBand FDR製品ラインには、InfiniBand 40Gbase QSFP+ FDR10 AOC、DAC、トランシーバ、および56Gbase QSFP+ FDR DACとAOCが含まれます。これらの製品は、メラノックスのEDRスイッチとシームレスに統合できます。
高性能コンピューティングネットワークにおけるInfiniBandの利点
データ通信、インターネット技術、ビジュアルプレゼンテーションの絶え間ない進化は、コンピューティングパワー、ストレージ容量、ネットワーク効率の進歩に依存しています。このような状況の中で、InfiniBandネットワークは、高帯域幅ネットワークサービス、低レイテンシー、プロトコル処理とデータ移動をCPUからインターコネクションにオフロードすることによるコンピューティングリソースの消費削減を提供する、極めて重要なプレーヤーとして浮上しています。これらのユニークな利点により、InfiniBandはHPCデータセンターにとって理想的なソリューションとして位置づけられ、Web 2.0、クラウドコンピューティング、ビッグデータ、金融サービス、仮想化データセンター、ストレージアプリケーションなどの多様なアプリケーションにおいて、大幅なパフォーマンス向上を実現します。
速度の領域では、InfiniBandはEthernet 100Gに追いついただけでなく、さらに先を進んでおり、現在では100G/200Gから400G/800GのInfiniBandスイッチまで、HPCアーキテクチャの高性能要件にシームレスに適合するオプションを提供しています。InfiniBandスイッチの高帯域幅、高速性、低レイテンシの組み合わせは、サーバの効率とアプリケーションの生産性の向上に貢献します。
スケーラビリティは、InfiniBandのもう1つの重要な利点であり、1つのサブネットがネットワーク・レイヤ2で最大48,000ノードをサポートします。イーサネットとは対照的に、InfiniBandはARPのようなブロードキャスト・メカニズムへの依存を排除し、ブロードキャスト・ストームを緩和し、さらなる帯域幅の浪費を回避します。さらに、複数のサブネットをスイッチと関連付けることができるため、柔軟性が向上します。
FSは、高性能コンピューティングの重要性を認識し、Quantum InfiniBandスイッチデバイスで構築されたInfiniBand製品を提供しています。これらの製品は、最大16Tb/秒のノンブロッキング帯域幅をサポートし、130ns以下のポート間遅延を誇り、HPCデータセンターの高可用性とマルチサービスのサポートを保証します。イーサネット・ネットワークは、複数のデバイスにワークロードを分散してデータ転送を行うための有効な選択肢であることに変わりはありませんが、FSは、多用途で効率的なネットワーク構築を支援するマルチスピード・イーサネット・スイッチを幅広く提供しています。
正しいネットワークの選択
InfiniBandとイーサネットは、それぞれ異なるシナリオでそれぞれの用途を見つけます。InfiniBandネットワークは、データ転送レートを大幅に向上させることに優れているため、ネットワーク利用率を最適化し、ネットワークデータ処理のためのCPUリソースの負担を軽減することができます。この極めて重要な利点により、InfiniBandネットワークはハイパフォーマンス・コンピューティング業界における主要なソリューションとして位置づけられています。
しかし、データセンター・ノード間の通信遅延が重要視されず、柔軟なアクセスと拡張が重視される場合、イーサネット・ネットワークは、長期間にわたって実行可能なソリューションとして機能します。.
InfiniBandネットワークの比類ない性能は、その革新的な技術アーキテクチャと合理化された高性能ネットワーク設計と相まって、HPCデータセンターのユーザーにビジネスパフォーマンスを最適化する力を与えます。InfiniBandテクノロジーは、マルチレベルのアーキテクチャレイヤーに関連する遅延を最小限に抑え、主要なコンピューティングノードのアクセス帯域幅のシームレスなアップグレードを容易にすることで、全体的な運用効率を高める上で重要な役割を果たしています。InfiniBandネットワークは、その普及が進むにつれて、利用シーンが拡大することが予想されます。