ヤフオクで激安のInfiniband製品買い集めたのでWindowsServer2019で使ってみる。

ハードウェア

HCA (NICみたいなカード)
- Sun Oracle Infiniband 40Gbps 2Port 4x QDR MHQH29B-XSR
  - Mellanox ConnectX-2 同等品
- ヤフオクで１枚 2100円
IBスイッチ Mellanox IS5023
- ヤフオクで9000円
ケーブル
- QSFP+ 1m パッシブケーブル
- FS.com で3本1万円ちょっと

動作テスト用のサーバーは事務所に転がってた古いやつ

Proliantの古さが泣けるｗ

インストール

とりあえずWindows Server 2019 をクリーンインストール。
この時点でHCAはConnectX-2として認識されてた。

特に気にしないで色々見ながらダウンロードしたら微妙に古いバージョンダウンロードしちゃった。

最新は5.50.54000 だけどインストールしたのは 5.50.52000

ConnectX-2はWindowsServer2012 以降はサポート対象外だから入らないのかと思ったけど案外すんなりインストールできた。

ここまでではまだリンクステータスがdiscon だった。

ドライバをインストールしたらC:\Program Files\Mellanox\MLNX_VPI\IB\Toolsにツールがインストールされてるので

sc create OpenSM binpath="C:\Program Files\Mellanox\MLNX_VPI\IB\Tools\opensm.exe -service" start=auto
sc start OpenSM

してサービスの登録してからサブネットマネージャを起動する。

ここでリンクがActiveになった。

それぞれのサーバーに固定IPを振る

(1回FirewallのICMP Echo 開き忘れて途方に暮れたりした)

iperf3 をダウンロードしてProliant側にサーバーを立てる

D:\temp\iperf-3.1.3-win32>iperf3.exe -s

Poweredge側からiperf3起動

(40G出るはずが3.5Gしか出てないけど) ヨシ！

Proliant側に共有フォルダを作成してSMBでコピーしてみる。
コピーするのはDellのService Update Utilityのisoイメージ 16GB

はっや

クソ古激安InfinibandカードでもまぁまぁなIPoIB環境は作れるもんだね。