Kubernetes(K8s) / OpenShift のバックアップ/リストアに Verelo を使うという選択肢があります。このVeleroを使って１つのネームスペースやプロジェクトをバックアップ/リストアする方法はよく見かけますが、クラスタ全体をバックアップ/リストアするといったことを記載している記事はそれほどありません。
ここでは、K8s/OpenShift 内にあるたくさんのネームスペースやプロジェクトの中から、任意の1つを誤って削除してしまった場合でも使える方法として、全体のバックアップ/リストアの方法を記載したいと思います。
ここでは Velero のバックアップ先としてS3互換のオブジェクトストレージを使う必要があります。OpenShift は多くのベンダー様に提供されていることもあり、どれか特定のベンダー様のストレージではなく今回はminIOを採用しました。
検証環境です。
私自身のPC：mac、
OpenShift の環境：Red Hat OpenShift on IBM Cloud (通称、ROKS)
１. Velero プロジェクトをGitクローン
まずは mac に適切なディレクトリを作成し、移動。そこへ Git で Velero をクローンします。
$ mdir veleroTest
$ cd veleroTest
$ git clone https://github.com/vmware-tanzu/velero.git
２. Credential ファイル作成
ローカルディレクトリに以下の内容を記載した Credential ファイル（ credentials-velero ）を作成します。
[default]
aws_access_key_id = minio
aws_secret_access_key = minio123
３. CLI を使って OpenShift に接続。その後、oc コマンドで velero プロジェクトを作成と minIO インスタンス追加
$ cd velero
$ kubectl apply -f examples/minio/00-minio-deployment.yaml
namespace/velero created
deployment.apps/minio created
service/minio created
job.batch/minio-setup created
４．velero プロジェクトへvelero インストール
$ cd .. ( credentials-velero ファイルがあるディレクトリに移動 )
$ velero install \\
--provider aws \\
--plugins velero/velero-plugin-for-aws:v1.1.0 \\
--bucket velero \\
--secret-file ./credentials-velero \\
--use-volume-snapshots=false \\
--backup-location-config region
=minio,s3ForcePathStyle="true",s3Url=http://minio.velero.svc:9000
I0410 21:56:37.589860 30647 request.go:665] Waited for 1.176635822s due to client-side throttling, not priority and fairness, request: GET:https://c100-e.jp-tok.containers.cloud.ibm.com:32372/apis/submariner.io/v1?timeout=32s
CustomResourceDefinition/backups.velero.io: attempting to create resource
CustomResourceDefinition/backups.velero.io: attempting to create resource client
CustomResourceDefinition/backups.velero.io: already exists, proceeding
CustomResourceDefinition/backups.velero.io: created
CustomResourceDefinition/backupstoragelocations.velero.io: attempting to create resource
CustomResourceDefinition/backupstoragelocations.velero.io: attempting to create resource client
CustomResourceDefinition/backupstoragelocations.velero.io: already exists, proceeding
CustomResourceDefinition/backupstoragelocations.velero.io: created
CustomResourceDefinition/deletebackuprequests.velero.io: attempting to create resource
CustomResourceDefinition/deletebackuprequests.velero.io: attempting to create resource client
CustomResourceDefinition/deletebackuprequests.velero.io: already exists, proceeding
CustomResourceDefinition/deletebackuprequests.velero.io: created
CustomResourceDefinition/downloadrequests.velero.io: attempting to create resource
CustomResourceDefinition/downloadrequests.velero.io: attempting to create resource client
CustomResourceDefinition/downloadrequests.velero.io: already exists, proceeding
CustomResourceDefinition/downloadrequests.velero.io: created
CustomResourceDefinition/podvolumebackups.velero.io: attempting to create resource
CustomResourceDefinition/podvolumebackups.velero.io: attempting to create resource client
CustomResourceDefinition/podvolumebackups.velero.io: already exists, proceeding
CustomResourceDefinition/podvolumebackups.velero.io: created
CustomResourceDefinition/podvolumerestores.velero.io: attempting to create resource
CustomResourceDefinition/podvolumerestores.velero.io: attempting to create resource client
CustomResourceDefinition/podvolumerestores.velero.io: already exists, proceeding
CustomResourceDefinition/podvolumerestores.velero.io: created
CustomResourceDefinition/resticrepositories.velero.io: attempting to create resource
CustomResourceDefinition/resticrepositories.velero.io: attempting to create resource client
CustomResourceDefinition/resticrepositories.velero.io: already exists, proceeding
CustomResourceDefinition/resticrepositories.velero.io: created
CustomResourceDefinition/restores.velero.io: attempting to create resource
CustomResourceDefinition/restores.velero.io: attempting to create resource client
CustomResourceDefinition/restores.velero.io: already exists, proceeding
CustomResourceDefinition/restores.velero.io: created
CustomResourceDefinition/schedules.velero.io: attempting to create resource
CustomResourceDefinition/schedules.velero.io: attempting to create resource client
CustomResourceDefinition/schedules.velero.io: already exists, proceeding
CustomResourceDefinition/schedules.velero.io: created
CustomResourceDefinition/serverstatusrequests.velero.io: attempting to create resource
CustomResourceDefinition/serverstatusrequests.velero.io: attempting to create resource client
CustomResourceDefinition/serverstatusrequests.velero.io: already exists, proceeding
CustomResourceDefinition/serverstatusrequests.velero.io: created
CustomResourceDefinition/volumesnapshotlocations.velero.io: attempting to create resource
CustomResourceDefinition/volumesnapshotlocations.velero.io: attempting to create resource client
CustomResourceDefinition/volumesnapshotlocations.velero.io: already exists, proceeding
CustomResourceDefinition/volumesnapshotlocations.velero.io: created
Waiting for resources to be ready in cluster...
Namespace/openshift-adp: attempting to create resource
Namespace/openshift-adp: attempting to create resource client
Namespace/openshift-adp: created
ClusterRoleBinding/velero-openshift-adp: attempting to create resource
ClusterRoleBinding/velero-openshift-adp: attempting to create resource client
ClusterRoleBinding/velero-openshift-adp: already exists, proceeding
ClusterRoleBinding/velero-openshift-adp: created
ServiceAccount/velero: attempting to create resource
ServiceAccount/velero: attempting to create resource client
ServiceAccount/velero: created
Secret/cloud-credentials: attempting to create resource
Secret/cloud-credentials: attempting to create resource client
Secret/cloud-credentials: created
BackupStorageLocation/default: attempting to create resource
BackupStorageLocation/default: attempting to create resource client
BackupStorageLocation/default: created
Deployment/velero: attempting to create resource
Deployment/velero: attempting to create resource client
Deployment/velero: created
Velero is installed! ⛵ Use 'kubectl logs deployment/velero -n openshift-adp' to view the status.
５．テストプロジェクト作成
テストプロジェクトを作成します。
$ oc new-project backuptest
６．全体バックアップ
Velero コマンドを使って OpenShift 全体をバックアップ。
全体バックアップのミソは、これまでの記事では「--include-namespaces 〇〇〇」として特定プロジェクトをバックアップしていましたが、全体バックアップの時にはプロジェクトを指定しません。
$ oc project velero ( <- velero プロジェクトにカレントを移します。)
$ velero backup create backup-20220410
I0410 22:02:18.908406 30879 request.go:665] Waited for 1.179368271s due to client-side throttling, not priority and fairness, request: GET:https://c100-e.jp-tok.containers.cloud.ibm.com:32372/apis/rbac.authorization.k8s.io/v1beta1?timeout=32s
Backup request "backup-20220410" submitted successfully.
Run `velero backup describe backup-20220410` or `velero backup logs backup-20220410` for more details.
クラスタ全体をバックアップしますので、結構時間がかかります。
バックアップ完了はバックアップコマンドを実行した時に表示されるvelero backup logs backup-20220410で確認します。
まだ進行中の時の表示
I0410 22:02:59.407311 30917 request.go:665] Waited for 1.169058469s due to client-side throttling, not priority and fairness, request: GET:https://c100-e.jp-tok.containers.cloud.ibm.com:32372/apis/policy.open-cluster-management.io/v1?timeout=32s
Name: backup-20220410
Namespace: openshift-adp
Labels: velero.io/storage-location=default
Annotations: velero.io/source-cluster-k8s-gitversion=v1.21.8+ee73ea2
velero.io/source-cluster-k8s-major-version=1
velero.io/source-cluster-k8s-minor-version=21
Phase: InProgress <- ＊進行中
Errors: 0
Warnings: 0
Namespaces:
Included: *
Excluded: <none>
Resources:
Included: *
Excluded: <none>
Cluster-scoped: auto
Label selector: <none>
Storage Location: default
Velero-Native Snapshot PVs: auto
TTL: 720h0m0s
Hooks: <none>
Backup Format Version: 1.1.0
Started: 2022-04-10 22:02:22 +0900 JST
Completed: <n/a>
Expiration: 2022-05-10 22:02:22 +0900 JST
Velero-Native Snapshots: <none included>
バックアップ完了時の表示
I0410 22:07:37.333144 31095 request.go:665] Waited for 1.171373663s due to client-side throttling, not priority and fairness, request: GET:https://c100-e.jp-tok.containers.cloud.ibm.com:32372/apis/console.openshift.io/v1?timeout=32s
Name: backup-20220410
Namespace: openshift-adp
Labels: velero.io/storage-location=default
Annotations: velero.io/source-cluster-k8s-gitversion=v1.21.8+ee73ea2
velero.io/source-cluster-k8s-major-version=1
velero.io/source-cluster-k8s-minor-version=21
Phase: Completed <- * 完了
Errors: 0
Warnings: 0
Namespaces:
Included: *
Excluded: <none>
Resources:
Included: *
Excluded: <none>
Cluster-scoped: auto
Label selector: <none>
Storage Location: default
Velero-Native Snapshot PVs: auto
TTL: 720h0m0s
Hooks: <none>
Backup Format Version: 1.1.0
Started: 2022-04-10 22:02:22 +0900 JST
Completed: 2022-04-10 22:04:38 +0900 JST
Expiration: 2022-05-10 22:02:22 +0900 JST
Total items to be backed up: 9231
Items backed up: 9231
Velero-Native Snapshots: <none included>
このように「Phase」が「Complited」となっていれば、バックアップ完了です。
７．テストプロジェクト削除
では、#5で作成したテストプロジェクトを削除してみます。
$ oc delete project backuptest
Terminating中
削除完了
８．全体リストア
Velero コマンドを使って OpenShift 全体をリストア。
$ velero restore create --from-backup backup-20220410
Restore request "backup-20220410-10-20220410221304" submitted successfully.
Run `velero restore describe backup-20220410-20220410221304` or `velero restore logs backup-20220410-20220410221304` for more details.
クラスタ全体をリストアしますので、バックアップ同様時間がかかります。
リストアプ完了もリストア実行時に表示されるvelero restore describe backup-20220410-20220410221304で確認します。
まだリストア進行中の時の表示
I0410 22:14:33.212729 31393 request.go:665] Waited for 1.167638461s due to client-side throttling, not priority and fairness, request: GET:https://c100-e.jp-tok.containers.cloud.ibm.com:32372/apis/addon.open-cluster-management.io/v1alpha1?timeout=32s
Name: backup-20220410-20220410221304
Namespace: openshift-adp
Labels: <none>
Annotations: <none>
Phase: InProgress <- *進行中
Estimated total items to be restored: 8506
Items restored so far: 497
Started: 2022-04-10 22:13:09 +0900 JST
Completed: <n/a>
Backup: backup-20220410
Namespaces:
Included: all namespaces found in the backup
Excluded: <none>
Resources:
Included: *
Excluded: nodes, events, events.events.k8s.io, backups.velero.io, restores.velero.io, resticrepositories.velero.io
Cluster-scoped: auto
Namespace mappings: <none>
Label selector: <none>
Restore PVs: auto
Preserve Service NodePorts: auto
リストア完了時の表示
I0418 00:06:54.699255 7006 request.go:665] Waited for 1.165774424s due to client-side throttling, not priority and fairness, request: GET:https://c100-e.jp-tok.containers.cloud.ibm.com:32372/apis/internal.open-cluster-management.io/v1beta1?timeout=32s
Name: backup-20220417-20220417235725
Namespace: openshift-adp
Labels: <none>
Annotations: <none>
Phase: Completed <- *完了
Estimated total items to be restored: 8555
Items restored so far: 4087
Started: 2022-04-17 23:57:25 +0900 JST
Completed: <n/a>
Backup: backup-20220417
Namespaces:
Included: all namespaces found in the backup
Excluded: <none>
Resources:
Included: *
Excluded: nodes, events, events.events.k8s.io, backups.velero.io, restores.velero.io, resticrepositories.velero.io
Cluster-scoped: auto
Namespace mappings: <none>
Label selector: <none>
Restore PVs: auto
Preserve Service NodePorts: auto
９．結果
ご覧のように削除したテストプロジェクトを復活させることができました。
参考：Velero本家サイト( https://github.com/vmware-tanzu/velero/blob/main/site/content/docs/v1.5/contributions/minio.md )