ヤフオクで激安のInfiniband製品買い集めたのでWindowsServer2019で使ってみる。
ハードウェア
- HCA (NICみたいなカード)
- Sun Oracle Infiniband 40Gbps 2Port 4x QDR MHQH29B-XSR
- ヤフオクで１枚 2100円
- IBスイッチ Mellanox IS5023
- ヤフオクで9000円
- ケーブル
- QSFP+ 1m パッシブケーブル
- FS.com で3本1万円ちょっと
動作テスト用のサーバーは事務所に転がってた古いやつ
- HP Proliant DL360G7 Xeon L5640 *2 Windows Server 2019 バージョン1809
- Dell Poweredge R730 Xeon E5-2630v3 *2 Windows Server 2019 バージョン1809
Proliantの古さが泣けるｗ
インストール
とりあえずWindows Server 2019 をクリーンインストール。
この時点でHCAはConnectX-2として認識されてた。
ドライバのインストール
Mellanox OFED for Windows - WinOF / WinOF-2 からダウンロード。
特に気にしないで色々見ながらダウンロードしたら微妙に古いバージョンダウンロードしちゃった。
最新は5.50.54000 だけどインストールしたのは 5.50.52000
ConnectX-2はWindowsServer2012 以降はサポート対象外だから入らないのかと思ったけど案外すんなりインストールできた。
ここまでではまだリンクステータスがdiscon だった。
サブネットマネージャ起動
ドライバをインストールしたらC:\Program Files\Mellanox\MLNX_VPI\IB\Toolsにツールがインストールされてるので
sc create OpenSM binpath="C:\Program Files\Mellanox\MLNX_VPI\IB\Tools\opensm.exe -service" start=auto
sc start OpenSM
してサービスの登録してからサブネットマネージャを起動する。
ここでリンクがActiveになった。
ネットワーク設定
それぞれのサーバーに固定IPを振る
- HP Proliant 10.90.90.20
- Dell Poweredge 10.90.90.10
(1回FirewallのICMP Echo 開き忘れて途方に暮れたりした)
速度測定
iperf3 をダウンロードしてProliant側にサーバーを立てる
D:\temp\iperf-3.1.3-win32>iperf3.exe -s
Poweredge側からiperf3起動
(40G出るはずが3.5Gしか出てないけど) ヨシ！
ダウンロード実測
Proliant側に共有フォルダを作成してSMBでコピーしてみる。
コピーするのはDellのService Update Utilityのisoイメージ 16GB
はっや
まとめ
クソ古激安InfinibandカードでもまぁまぁなIPoIB環境は作れるもんだね。