OpenShift Data Foundation (ODF)

Red Hat OpenShift Data Foundation とは

Red Hat® OpenShift® Data Foundation (旧 Red Hat OpenShift Container Storage) は、コンテナ用ソフトウェア・デファインド・ストレージであり、Red Hat OpenShift に緊密に統合されたデータサービスを提供します。Red Hat OpenShift Data Foundation は、クラウド全体でアプリケーションを迅速かつ効率的に開発し、デプロイするのに役立ちます。

ここでは、以下のドキュメントに基づいて、AWS 上の OpenShift Container Platform (OCP) UPI 環境の ODF 4.16 に Object Storage Device (OSD) を追加する手順をご紹介します。

※ 今回の手順のほかに、既存の OSD を Resise する手順もあります。

Scaling up storage capacity on a cluster by adding a new set of OSDs

OCP Console の Storage 配下 Data Foundation の Overview で現在の状況を確認します。ここでは System Raw Capacity 12TiB (実効容量 4TiB) で構成されていることが分かります。

oc コマンドでも確認してみます。CAPACITY = 4Ti の PVC が OSD に対応し、4Ti x 3 = 12TiBの構成になっていることが分かります。また、今回の構成の OSD Backing Storage は AWS EBS で、StorageClass に gp3-csi を使用しています。

$ oc project -q
openshift-storage

$ oc get pvc
NAME                                  STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  VOLUMEATTRIBUTESCLASS   AGE
db-noobaa-db-pg-0                     Bound    pvc-6297457e-d467-4237-90ac-oiweurijdb01   50Gi       RWO            ocs-storagecluster-ceph-rbd   <unset>                 18d
ocs-deviceset-gp3-csi-0-data-07bt2g   Bound    pvc-cc5e93f7-9265-4193-85a8-943e870d0195   4Ti        RWO            gp3-csi                       <unset>                 18d
ocs-deviceset-gp3-csi-1-data-0hmz7n   Bound    pvc-6465c907-1cf4-4bba-b42a-918372o8udbd   4Ti        RWO            gp3-csi                       <unset>                 18d
ocs-deviceset-gp3-csi-2-data-0sdlbh   Bound    pvc-e357a462-4c03-4147-9e64-ee721b3df42b   4Ti        RWO            gp3-csi                       <unset>                 18d
rook-ceph-mon-a                       Bound    pvc-6a1eab54-7e8d-4012-80a3-98721938798d   50Gi       RWO            gp3-csi                       <unset>                 18d
rook-ceph-mon-b                       Bound    pvc-d88c26c5-8451-4930-a2b5-872138763svv   50Gi       RWO            gp3-csi                       <unset>                 18d
rook-ceph-mon-c                       Bound    pvc-fe733a69-ae5a-4d6c-b2fc-871239872139   50Gi       RWO            gp3-csi                       <unset>                 18d

$ oc get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                                   STORAGECLASS                  VOLUMEATTRIBUTESCLASS   REASO
pvc-6465c907-1cf4-4bba-b42a-918372o8udbd   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-1-data-0hmz7n   gp3-csi                       <unset>                          18d
pvc-cc5e93f7-9265-4193-85a8-943e870d0195   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-0-data-07bt2g   gp3-csi                       <unset>                          18d
pvc-e357a462-4c03-4147-9e64-ee721b3df42b   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-2-data-0sdlbh   gp3-csi                       <unset>                          18d

なお、ODF は 6 Nodes 構成です。

$ oc get node -l  cluster.ocs.openshift.io/openshift-storage
node/ip-33-555-14-118.us-westside-99.machine.external
node/ip-33-555-14-19.us-westside-99.machine.external
node/ip-33-555-14-72.us-westside-99.machine.external
node/ip-33-555-14-78.us-westside-99.machine.external
node/ip-33-555-14-94.us-westside-99.machine.external
node/ip-33-555-14-99.us-westside-99.machine.external

この構成に 4TiB x3 を追加して System Raw Capacity 24TiB (実効容量 8TiB) 構成にしてみます。

Installed Operator から OpenShift Data Foundation を選択し、StorageSystem Tab の StorageSystem 右端にある Action Menu から Add Capacity を選択します。

Add Capacity 画面が表示され、StorageClass を選択することが出来ます。ここでは、既存 OSD と同じ gp3-csi を選択します。

次の画面の Raw Capacity では、既存 OSD の容量 4 (TiB) が Gray Out された状態で表示されます。このまま Add ボタンで作成します。

Data Foundation の Overview を再確認すると、System Raw Capacity 24TiB (実効容量 8TiB) に拡張された事が分かります。

oc コマンドでも確認してみます。

$ oc project -q
openshift-storage

$ oc get pvc 
NAME                                  STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  VOLUMEATTRIBUTESCLASS   AGE
db-noobaa-db-pg-0                     Bound    pvc-6297457e-d467-4237-90ac-oiweurijdb01   50Gi       RWO            ocs-storagecluster-ceph-rbd   <unset>                 18d
ocs-deviceset-gp3-csi-0-data-07bt2g   Bound    pvc-cc5e93f7-9265-4193-85a8-943e870d0195   4Ti        RWO            gp3-csi                       <unset>                 18d
ocs-deviceset-gp3-csi-0-data-188jd6   Bound    pvc-e5af53d3-5e00-4acd-bc8e-987124vdnbaz   4Ti        RWO            gp3-csi                       <unset>                 4d3h
ocs-deviceset-gp3-csi-1-data-0hmz7n   Bound    pvc-6465c907-1cf4-4bba-b42a-918372o8udbd   4Ti        RWO            gp3-csi                       <unset>                 18d
ocs-deviceset-gp3-csi-1-data-1gss8k   Bound    pvc-bbd285cb-ae62-434b-a633-oiweurisdb12   4Ti        RWO            gp3-csi                       <unset>                 4d3h
ocs-deviceset-gp3-csi-2-data-0sdlbh   Bound    pvc-e357a462-4c03-4147-9e64-ee721b3df42b   4Ti        RWO            gp3-csi                       <unset>                 18d
ocs-deviceset-gp3-csi-2-data-1mbr7k   Bound    pvc-908e779f-c940-4e48-8b8b-218738723vad   4Ti        RWO            gp3-csi                       <unset>                 4d3h
rook-ceph-mon-a                       Bound    pvc-6a1eab54-7e8d-4012-80a3-98721938798d   50Gi       RWO            gp3-csi                       <unset>                 18d
rook-ceph-mon-b                       Bound    pvc-d88c26c5-8451-4930-a2b5-872138763svv   50Gi       RWO            gp3-csi                       <unset>                 18d
rook-ceph-mon-c                       Bound    pvc-fe733a69-ae5a-4d6c-b2fc-871239872139   50Gi       RWO            gp3-csi                       <unset>                 18d

$ oc get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                                   STORAGECLASS                  VOLUMEATTRIBUTESCLASS   REASO
pvc-6465c907-1cf4-4bba-b42a-918372o8udbd   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-1-data-0hmz7n   gp3-csi                       <unset>                          18d
pvc-908e779f-c940-4e48-8b8b-218738723vad   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-2-data-1mbr7k   gp3-csi                       <unset>                          4d3h
pvc-bbd285cb-ae62-434b-a633-oiweurisdb12   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-1-data-1gss8k   gp3-csi                       <unset>                          4d3h
pvc-cc5e93f7-9265-4193-85a8-943e870d0195   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-0-data-07bt2g   gp3-csi                       <unset>                          18d
pvc-e357a462-4c03-4147-9e64-ee721b3df42b   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-2-data-0sdlbh   gp3-csi                       <unset>                          18d
pvc-e5af53d3-5e00-4acd-bc8e-987124vdnbaz   4Ti        RWO            Delete           Bound    openshift-storage/ocs-deviceset-gp3-csi-0-data-188jd6   gp3-csi                       <unset>                          4d3h

既存 OSDs (4TiB x3) は ODF 6 Nodes のうちの 3 Nodes に別々に配置されていました。この状態で新規 OSDs (4TiB x3) を追加すると、既存 OSDs が配置されていない 3 Nodes に別々に配置され、全体で 6 OSDs が 6 Nodes に均等に配置されます。

なお、今回の構成で ODF Node が障害等で使用できないと判断された場合には、該当 Node の OSD が別の ODF Node に動的に再配置されます。