Ceph構築がうまくできない、理解が追いつかない

前回デス

Cephの検証をする

そもそも個人の趣味範疇なのでノードになるべく台数が極端に少ないのです。
機材は足りない分追加していかないといけないんだけど・・・

本番稼働中
HP DL360 Gen9
HP DL360 Gen10

余り検証用
Supermicro 2028TP-DC1R　1台

2028TP-DC1Rで検証してみようと開始。

Ceph検証環境

1. 2028TP-DC1RをProxmoxのクラスタから解体してCeph検証用に降格
2. まず、Proxmoxでクラスタから削除
3. 2028TPに新規にProxmoxをインストール（後々参加させるため）✕２
4. 合わせてハードウェアRAIDに頼っていたのでProxmoxはZFSのRAID1化

まずやったこと

全台Proxmox入れているけど今後入れないノード追加したときの練習用に素で入れてみようかと考える
ここが間違いの始まり
ProxmoxはそもそもCeph入っているからそれ使うもの？

1. authorized_keysがシンボリックリンクでクラスタ間の通信用に自動キー追加ができない
   • authorized_keysを実体化させてクラスタ作成後に実体化
2. そもそもPodmanがうまく動作しない
   • 普通にcephアプリを入れてやればよかったけどcephadmで構築をしようとしていた
   • まぁ、そもそも知識経験少なすぎるからアプリいれてやってても心折れてたと思う

インストールのログとの格闘をしたけど
そもそもCeph動かしてイメージ掴めないんじゃ今何やってるかわからなくね？？

結論、まず統合機能を使って構築してみよう！

Crush MapとかPoolの勉強はその次だな

検証用だからノードは2台、、、、（そもそもCephの検証だったらもう一台はほしいところ）
2台だからしてプールのレプリカ数を2にしたり

ceph osd pool set lvm-ceph-rbd size 2

とりあえずは動いた

レプリカネットワークの作成

転がっている10GbpsのNICはとりあえずそのまま放置で
内蔵の1Gbpsでレプリカ
1台目

2台目

それぞれeno2をクラスターネットワーク用に割当て
※ここでちゃんと「設定を適用」を押しましょう、Proxmox04押して無くて？？？になりました

ここでは、Proxmox管理画面とCephとの接続用を
192.168.14.0/24
にて定義して
クラスターのネットワークを
192.168.20.0/24
で独立させております。

cluster_network = 192.168.20.0/24
と
public_network = 192.168.14.0/24
で分離
vim /etc/ceph/ceph.conf

 [global]
        auth_client_required = cephx
        auth_cluster_required = cephx
        auth_service_required = cephx
+       cluster_network = 192.168.20.0/24
        fsid = 5b5fd5ea-a6e4-42b5-bf38-f3d3a96d9fc6
        mon_allow_pool_delete = true
        mon_host = 192.168.14.23 192.168.14.24
        ms_bind_ipv4 = true
        ms_bind_ipv6 = false
        osd_pool_default_min_size = 2
        osd_pool_default_size = 3
+       public_network = 192.168.14.0/24

 [client]
        keyring = /etc/pve/priv/$cluster.$name.keyring

 [client.crash]
        keyring = /etc/pve/ceph/$cluster.$name.keyring

 [mon.proxmox03]
        public_addr = 192.168.14.23

 [mon.proxmox04]
        public_addr = 192.168.14.24

ちなみに、ちゃんと/etc/hostsにも名前解決できるようにIPは書いておきました。
vim /etc/hosts

root@proxmox03:/etc/ceph# cat /etc/hosts
127.0.0.1 localhost.localdomain localhost
::1         localhost
192.168.14.23 proxmox03.local proxmox03
192.168.20.23 proxmox03.local proxmox03
192.168.14.24 proxmox04.local proxmox04
192.168.20.24 proxmox04.local proxmox04

そうしてようやく！！Cephというものが動き出しました！

未だ全然イメージ掴めない
新しことは難しいわ

とりあえず、HDD12台でPublic/Clusterネットワーク1Gbpsだけど

こんな感じでそこそこのスピードでます

続きました