ようやくデバイスが届いたので
CephのSSDとHDDのパフォーマンスの確認をしようと思います。
2028TP-DC1Rに
Intel X520-DA4を各ノードにインストール
まずはCephのPublicとClusterのIPを割り振り（VMとCorosyncは後回し 1Gbpsのまま）
SSHでどこか一つのノードに入って
SSD用のルールとHDD用のルールを作成
# ceph osd crush rule create-replicated replicated_ssd default host ssd
# ceph osd crush rule create-replicated replicated_hdd default host hdd
プール名は適当に
lvm-ceph-ssdとlvm-ceph-hddと名付けました
設定はSSDプールHDDプール共に
size2のmin2
ディスク読み書き速度比較（ceph-hdd ST300MP0006×12）
| テスト項目 | KDiskMark (Read MB/s) | KDiskMark (Write MB/s) | CrystalDiskMark (Read MB/s) | CrystalDiskMark (Write MB/s) |
|---|---|---|---|---|
| SEQ1M Q8T1 | 534.97 | 284.36 | 700.76 | 297.79 |
| SEQ1M Q1T1 | 188.46 | 334.93 | 180.92 | 289.69 |
| RND4K Q32T1 | 75.47 | 18.36 | 147.86 | 19.99 |
| RND4K Q1T1 | 2.34 | 17.90 | 3.76 | 13.59 |
ディスク読み書き速度比較（ceph-ssd HP S750×6 + fanxiang S101Q）
| テスト項目 | KDiskMark (Read MB/s) | KDiskMark (Write MB/s) | CrystalDiskMark (Read MB/s) | CrystalDiskMark (Write MB/s) |
|---|---|---|---|---|
| SEQ1M Q8T1 | 463.48 | 604.56 | 745.58 | 565.99 |
| SEQ1M Q1T1 | 121.86 | 580.36 | 186.36 | 565.99 |
| RND4K Q32T1 | 177.88 | 90.26 | 111.52 | 65.83 |
| RND4K Q1T1 | 3.60 | 56.35 | 3.90 | 15.42 |
SSDで作ったCephが異様に遅い。。。。
DRAMキャッシュがないSSDだからかな？
あと、SSDは同じサイズとはいえ混在させているのも問題かもしれない
ノードにSSDとHDDを分散してベンチ
4ノード
DL360Gen9 SSD 3台 HDD 3台
DL380Gen10 SSD 3台 HDD 3台
2028TP-DC1R(A) SSD 3台 HDD 3台
2028TP-DC1R(B) SSD 3台 HDD 3台
設定はSSDプールHDDプール共に
size4のmin3
ディスク読み書き速度比較（ceph-hdd ST300MP0006×12）
| テスト項目 | KDiskMark (Read MB/s) | KDiskMark (Write MB/s) | CrystalDiskMark (Read MB/s) | CrystalDiskMark (Write MB/s) |
|---|---|---|---|---|
| SEQ1M Q8T1 | 620.33 | 216.84 | 600.37 | 187.96 |
| SEQ1M Q1T1 | 173.40 | 194.96 | 194.87 | 181.31 |
| RND4K Q32T1 | 72.72 | 10.09 | 109.86 | 11.79 |
| RND4K Q1T1 | 2.50 | 9.31 | 3.82 | 7.39 |
ディスク読み書き速度比較（ceph-ssd HP S750×6 + fanxiang S101Q）
| テスト項目 | KDiskMark (Read MB/s) | KDiskMark (Write MB/s) | CrystalDiskMark (Read MB/s) | CrystalDiskMark (Write MB/s) |
|---|---|---|---|---|
| SEQ1M Q8T1 | 1,057.89 | 388.15 | 1050.70 | 378.54 |
| SEQ1M Q1T1 | 268.03 | 377.22 | 361.56 | 361.56 |
| RND4K Q32T1 | 272.33 | 82.99 | 148.10 | 62.17 |
| RND4K Q1T1 | 6.30 | 59.41 | 3.93 | 15.48 |
ノード分けた場合ベンチ結果SSDの大勝利？？
DRAMキャッシュ無しなのに・・・
まだCacheチューニングとかしていないけどCephはノード増やして行くほうがスループット上る感じですね
続きたいかも