想定環境

~8 ノードくらいで, 手元ワークステーション的な感じで mini cluster を 40 Gbps ~ 100 Gbps で組みたい.
なるべく将来 200 ~ 400 Gbps に拡張できることを見込んで.

40 Gbps(IB/Eth), 56 Gbps(IB) だと, リース終了品が eBay に流れているようで安価に調達することができる.

用語

ダイレクトアタッチケーブル

要は 1G のイーサネットケーブルのように, コネクタとケーブルが一緒になったもの.

光ファイバー接続の場合だとトランシーバー(電気 <-> 光変換)が必要であるが, 銅線接続の場合はトランシーバーは不要

アクティブ, パッシブ => 信号増幅とか, D/A 変換するのはアクティブっぽい.

コネクタ(トランシーバー)の形状

https://en.wikipedia.org/wiki/Small_form-factor_pluggable_transceiver
https://www.wavesplitter.jp/index.php/191/qsfp28port-valiation
https://www.completeconnect.co.uk/what-are-the-differences-between-qsfp-qsfp-and-qsfp28/

QSFP => IB DDR(20 Gbps)まで
QSFP+ => IB QDR(40 Gbps), FDR(56 Gbps)対応
QSFP28 => IB EDR(100 Gbps), 100 GbE 向け

200 Gbps 越えると QSFP56 になる?

コネクタの形状自体は同じっぽいので, 帯域が出ないかもはしれないが, IB EDR(100 Gbps) に QSFP のコネクタを挿して使い回すことができるかも?

ケーブルの種類

銅線(copper) : 安い. 重い. あまり長くできない. ミニクラスタ用
光ファイバー(fiber) : 銅線に比べると高い. トランシーバー(光変換)部分がコスト高い. 長距離対応は信号の増幅が必要などのためか高くなる. 軽い. 超高密度とか, 広いネットワーク向け. 速度が上がるにつれて, 銅では対応できずファイバーになるのしらん.

スイッチの騒音

スイッチは本来サーバールームで動かす用なのでファンがとてもうるさいです.
Noctua の 40mm ファンに換装がおすすめっぽい

Noctua NF-A4x10 FLX
https://www.youtube.com/watch?v=nW87duasx7E

HBA 選び

2023/06 時点では, ConnectX-3(40 Gbps) は Windows ではもうドライバが提供されていない.

いちおう WinOF はあるが Windows 11 対応などされていない.

Linux はドライバあるが(mlx4), こちらももうあんまりサポートされていないよう.

eBay とかで調達する場合 ConnectX-4 以上の利用を推奨.

その他

Beware of EMC switches sold as Mellanox SX6XXX on eBay
https://forums.servethehome.com/index.php?threads/beware-of-emc-switches-sold-as-mellanox-sx6xxx-on-ebay.10786/

eBay で EMC 品として売られている SX6xxx 系スイッチ(2~4 万円で激安)は, unamaged switch として IB だけで動かすには問題なさそうだが(opensm 動かせばいいだけ), Eth モードで動かしたいなどだと OS が違うので動かない(or ほかの mellanox スイッチと共存できない)ので注意.