Ubuntu16.04でInfinibandクラスタを作る。

必要なパッケージをインストール

sudo apt-get install infiniband-diags opensm ibverbs-utils infiniband-diags perftest

ドライバーインストール

wget http://us.archive.ubuntu.com/ubuntu/ubuntu/pool/universe/libm/libmlx4/libmlx4-1_1.0.6-1_amd64.deb
sudo dpkg -i libmlx4-1_1.0.6-1_amd64.deb 

/etc/modulesに必要そうなモジュールを追加して、それぞれをmodprobeする。

sudo vim /etc/modules

# For Infiniband
mlx4_ib
rdma_ucm
ib_umad
ib_uverbs
ib_ipoib


modprobe

さて、2クラスタ用意し、IBスイッチで繋ぎます。
そして、ibpingを使って疎通テストを行います。

ping待機側

tumoi@kaby:~$ ibstat
CA 'mlx4_0'
        CA type: MT26428
        Number of ports: 2
        Firmware version: 2.9.1000
        Hardware version: a0
        Node GUID: ＊＊＊＊＊＊
        System image GUID: ＊＊＊＊＊＊
        Port 1:
                State: Down
                Physical state: Polling
                Rate: 10
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: ＊＊＊＊＊＊
                Port GUID: ＊＊＊＊＊＊
                Link layer: InfiniBand
        Port 2:
                State: Active
                Physical state: LinkUp
                Rate: 40
                Base lid: 3
                LMC: 0
                SM lid: 1
                Capability mask: ＊＊＊＊＊＊
                Port GUID: ＊＊＊＊＊＊
                Link layer: ＊＊＊＊＊＊
tumoi@kaby:~$ sudo ibping -S

ping送信側

tumoi@zenzen:~$ sudo ibping 3
Pong from kaby.(none) (Lid 3): time 0.160 ms
Pong from kaby.(none) (Lid 3): time 0.156 ms
Pong from kaby.(none) (Lid 3): time 0.158 ms
Pong from kaby.(none) (Lid 3): time 0.158 ms
^C
--- kaby.(none) (Lid 3) ibping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3772 ms
rtt min/avg/max = 0.156/0.158/0.160 ms

はい、無事疎通しました。

参考