想定環境
~8 ノードくらいで, 手元ワークステーション的な感じで mini cluster を 40 Gbps ~ 100 Gbps で組みたい.
なるべく将来 200 ~ 400 Gbps に拡張できることを見込んで.
40 Gbps(IB/Eth), 56 Gbps(IB) だと, リース終了品が eBay に流れているようで安価に調達することができる.
用語
ダイレクトアタッチケーブル
要は 1G のイーサネットケーブルのように, コネクタとケーブルが一緒になったもの.
光ファイバー接続の場合だとトランシーバー(電気 <-> 光変換)が必要であるが, 銅線接続の場合はトランシーバーは不要
アクティブ, パッシブ => 信号増幅とか, D/A 変換するのはアクティブっぽい.
コネクタ(トランシーバー)の形状
https://en.wikipedia.org/wiki/Small_form-factor_pluggable_transceiver
https://www.wavesplitter.jp/index.php/191/qsfp28port-valiation
https://www.completeconnect.co.uk/what-are-the-differences-between-qsfp-qsfp-and-qsfp28/
QSFP => IB DDR(20 Gbps)まで
QSFP+ => IB QDR(40 Gbps), FDR(56 Gbps)対応
QSFP28 => IB EDR(100 Gbps), 100 GbE 向け
200 Gbps 越えると QSFP56 になる?
コネクタの形状自体は同じっぽいので, 帯域が出ないかもはしれないが, IB EDR(100 Gbps) に QSFP のコネクタを挿して使い回すことができるかも?
ケーブルの種類
- 銅線(copper) : 安い. 重い. あまり長くできない. ミニクラスタ用
- 光ファイバー(fiber) : 銅線に比べると高い. トランシーバー(光変換)部分がコスト高い. 長距離対応は信号の増幅が必要などのためか高くなる. 軽い. 超高密度とか, 広いネットワーク向け. 速度が上がるにつれて, 銅では対応できずファイバーになるのしらん.
スイッチの騒音
スイッチは本来サーバールームで動かす用なのでファンがとてもうるさいです.
Noctua の 40mm ファンに換装がおすすめっぽい
Noctua NF-A4x10 FLX
https://www.youtube.com/watch?v=nW87duasx7E
HBA 選び
2023/06 時点では, ConnectX-3(40 Gbps) は Windows ではもうドライバが提供されていない.
いちおう WinOF はあるが Windows 11 対応などされていない.
Linux はドライバあるが(mlx4), こちらももうあんまりサポートされていないよう.
eBay とかで調達する場合 ConnectX-4 以上の利用を推奨.
その他
Beware of EMC switches sold as Mellanox SX6XXX on eBay
https://forums.servethehome.com/index.php?threads/beware-of-emc-switches-sold-as-mellanox-sx6xxx-on-ebay.10786/
eBay で EMC 品として売られている SX6xxx 系スイッチ(2~4 万円で激安)は, unamaged switch として IB だけで動かすには問題なさそうだが(opensm 動かせばいいだけ), Eth モードで動かしたいなどだと OS が違うので動かない(or ほかの mellanox スイッチと共存できない)ので注意.