前回デス
Cephの検証をしたけど
ネットワーク環境をしっかりと見つめ直さないといけない事象が発生。
問題ないと思っていたのに
高負荷かけまくっていたら
corosync？がコケてクラスターのいくつがにアクセスできなくなる！！！
という事象が発生。
Proxmox/Cephをやるにはどのくらいのネットワークポートが必要なのかとか
速度が必要なのかがおぼろげながら見えてきた。
各サーバーでポート分けておいたほうがいいもがみえたもの
- Proxmox管理画面/SSH（1Gbpsで十分？）
- いわずもがな管理画面とProxmox本体にアクセスするネットワーク
- ProxmoxVM用（1Gbpsで十分？）
- ProxmoxのVMと外でアクセスできるネットワーク（セキュリティ的にも大事そう）
- ProxmoxCluster用（corosync）（1Gbpsで十分？できれば10Gbpsほしい）
- Proxmoxでクラスタを組む場合クラスタはやっぱり独立したネットワークにしたほうが良さげ
- CephPublic（10Gbpsほしい）
- Cephへのアクセスはちゃんとネットワークわけないと他にも影響がでる。ので別ネットワークに
- CephCluster（10Gbpsほしい）
- クラスタを組む場合は絶対別ネットワークにしたほうがよさげ？な印象
ということは、最低でも1サーバーで5本のネットワークポートが無いと厳しい？
L3で区切っても帯域がたりなくなりそうということ。
個人だと機材に限りがあるのでなんとか考案をしないと
今足りないもの
ネットワークカード
ハブ（L3まではいらないけどポートVLANできると嬉しい）
後スピードを重視しないといけないポートを限定するしかない
買ったもの
中古だけど
DELL S4048-on
https://www.delltechnologies.com/asset/en-us/products/networking/technical-support/dell-networking-s4048-on-spec-sheet.pdf
Mellanox ConnectX-3 Pro
参考リンクがみつからぬぃ
DACケーブル2本
あとLCケーブルOM3 16本くらい
最低限の帯域でいけるところは妥協して
| デバイス | ネットワーク | コメント |
|---|---|---|
| HP DL360 Gen9 | 1Gbps-T 4ポート SFP+ 4ポート | 何も追加しなくてOK |
| HP DL380 Gen10 | 1Gbps-T 4ポート SFP+ 2ポート | DL360から拝借したSFP+を追加したけど足りないのでもう2ポートSFP+追加します |
| 2028TP-DC1R Node1 | 1Gbps-T 2ポート | 拡張スロット足りない！のでMellanox ConnectX-3 Pro追加予定 |
| 2028TP-DC1R Node2 | 1Gbps-T 2ポート | 拡張スロット足りない！のでMellanox ConnectX-3 Pro追加予定 |
個人でCeph勉強したり構築してみたりはお金かかりますね
そして家庭内ネットワークの見直し
これだったのを
こうしてみたい！！！とある機材だけを並べて検討
どうしても夢がでてきてしまって今ない機材のノードまで入ってしまっているのは御愛嬌
L3スイッチ無いからYAMAHAのRTX1200が活躍しそうです
GW中で注文した機材が全く届かないから
構想の妄想が捗る捗る
できるんかな？？？
続いたらしい