漢なら CentOS7 で InfiniBand ですよね!
最近では qperf というのでお手軽に性能測定できるようになりましたので試してみましょう.
InifiniBand ドライバや IPoIB など一式セットアップ済みを仮定します.
qperf
qperf を入れます.
$ sudo yum install qperf
ポート開放
CentOS7 デフォルトだとポートが開放されていないので, qperf 用にポートを開けます(firewall サービスを仮定します)
10000 ~ 10010 までのポートを開放します.
$ sudo firewall-cmd --add-port=10000-10010/tcp --permanent
測定
サーバで qperf を動かします.
$ qperf --listen_port 10000
クライアントで qperf を動かします. server の ip(IPoIB) が 172.24.0.8 とします.
$ qperf --listen_port 10000 172.24.0.8 rc_rdma_read_bw
rc_rdma_read_bw:
bw = 1.56 GB/sec
Voala! お手軽に計測できました.
測定できる項目はいくつかあります. お好みでどうぞ.
Happy RDMA measurement!
$ qperf --help tests
Miscellaneous
conf Show configuration
quit Cause the server to quit
Socket Based
rds_bw RDS streaming one way bandwidth
rds_lat RDS one way latency
sctp_bw SCTP streaming one way bandwidth
sctp_lat SCTP one way latency
sdp_bw SDP streaming one way bandwidth
sdp_lat SDP one way latency
tcp_bw TCP streaming one way bandwidth
tcp_lat TCP one way latency
udp_bw UDP streaming one way bandwidth
udp_lat UDP one way latency
RDMA Send/Receive
rc_bi_bw RC streaming two way bandwidth
rc_bw RC streaming one way bandwidth
rc_lat RC one way latency
uc_bi_bw UC streaming two way bandwidth
uc_bw UC streaming one way bandwidth
uc_lat UC one way latency
ud_bi_bw UD streaming two way bandwidth
ud_bw UD streaming one way bandwidth
ud_lat UD one way latency
xrc_bi_bw XRC streaming two way bandwidth
xrc_bw XRC streaming one way bandwidth
xrc_lat XRC one way latency
RDMA
rc_rdma_read_bw RC RDMA read streaming one way bandwidth
rc_rdma_read_lat RC RDMA read one way latency
rc_rdma_write_bw RC RDMA write streaming one way bandwidth
rc_rdma_write_lat RC RDMA write one way latency
rc_rdma_write_poll_lat RC RDMA write one way polling latency
uc_rdma_write_bw UC RDMA write streaming one way bandwidth
uc_rdma_write_lat UC RDMA write one way latency
uc_rdma_write_poll_lat UC RDMA write one way polling latency
InfiniBand Atomics
rc_compare_swap_mr RC compare and swap messaging rate
rc_fetch_add_mr RC fetch and add messaging rate
Verification
ver_rc_compare_swap Verify RC compare and swap
ver_rc_fetch_add Verify RC fetch and add