Red Hat OpenShift Container Platform (OCP) 4.9 の Release Note に記載があるように、OCP 4.9 へ Upgrade する場合には、更新の準備 (Preparing to update) という特別な手順が必要です。

Required administrator acknowledgment when upgrading from OpenShift Container Platform 4.8 to 4.9
https://docs.openshift.com/container-platform/4.9/release_notes/ocp-4-9-release-notes.html#ocp-4-9-admin-ack-upgrading

OpenShift Container Platform 4.8.14 introduced a requirement that an administrator must provide a manual acknowledgment before the cluster can be upgraded from OpenShift Container Platform 4.8 to 4.9.

この手順は OCP 4.8.14 で実装された機能によるものです。
ここでは、OCP 4.8.39 環境における更新の準備 (Preparing to update) の実行例をご紹介します。

OCP 4.9 への Upgrade Path の確認

OCP 4.8 の環境で Upgrade Path を確認すると、Upgradeable=False が表示され OCP 4.9 への Upgrade ができない状態であることが分かります。

$ oc get clusterversion
NAME      VERSION   AVAILABLE   PROGRESSING   SINCE   STATUS
version   4.8.39    True        False         2d21h   Cluster version is 4.8.39

$ oc get clusterversion -o jsonpath='{.items[].spec.channel}{"\n"}'
stable-4.9

$ oc adm upgrade
Cluster version is 4.8.39

Upgradeable=False

  Reason: AdminAckRequired
  Message: Kubernetes 1.22 and therefore OpenShift 4.9 remove several APIs which require admin consideration. Please see the knowledge article https://access.redhat.com/articles/6329921 for details and instructions.


Updates:

VERSION IMAGE
4.9.31  quay.io/openshift-release-dev/ocp-release@sha256:2a28b8ebb53d67dd80594421c39e36d9896b1e65cb54af81fbb86ea9ac3bf2d7

OCP Console では、以下のように表示されます。

この状態で oc adm upgrade コマンドによる Upgrade を実行しても、処理は開始されません。

$ oc adm upgrade --to=4.9.31
Cluster version is 4.8.39

Upgradeable=False

  Reason: AdminAckRequired
  Message: Kubernetes 1.22 and therefore OpenShift 4.9 remove several APIs which require admin consideration. Please see the knowledge article https://access.redhat.com/articles/6329921 for details and instructions.


Updates:

VERSION IMAGE
4.9.31  quay.io/openshift-release-dev/ocp-release@sha256:2a28b8ebb53d67dd80594421c39e36d9896b1e65cb54af81fbb86ea9ac3bf2d7

OCP Console でも同様に、Update ボタンを押しても、処理は開始されません。

更新の準備 - Preparing to update to OpenShift Container Platform 4.9

先述の Release Note の内容に従って、更新の準備 (Preparing to update) をしてみます。これに関する記載は少なくとも以下の2箇所にありますが、ここでは公式ドキュメントの方を参考にしてみます。

公式ドキュメント
Preparing to update to OpenShift Container Platform 4.9
https://docs.openshift.com/container-platform/4.9/updating/updating-cluster-prepare.html#updating-cluster-prepare
Knowledgebase
Preparing to upgrade to OpenShift Container Platform 4.9
https://access.redhat.com/articles/6329921

Reviewing alerts to identify uses of removed APIs

ドキュメントに記載されている APIRemovedInNextReleaseInUse と APIRemovedInNextEUSReleaseInUse の状況を確認してみます。まずは、発報 (Fire) された Alert を確認します。

$ ALERT_MANAGER=$(oc get route alertmanager-main -n openshift-monitoring -o jsonpath='{@.spec.host}')
$ SA=$(oc sa get-token prometheus-k8s -n openshift-monitoring)
$ curl -skH "Authorization: Bearer $SA" https://$ALERT_MANAGER/api/v1/alerts | jq -r '.data[].labels.alertname' | sort | uniq -c
      1 AlertmanagerClusterFailedToSendAlerts
      3 AlertmanagerFailedToSendAlerts
      1 APIRemovedInNextEUSReleaseInUse
      1 APIRemovedInNextReleaseInUse
      1 ClusterNotUpgradeable
      1 ElasticsearchClusterNotHealthy
      1 KubeJobCompletion
      2 KubeJobFailed
      1 TargetDown
      1 UpdateAvailable
      1 Watchdog

APIRemovedInNextReleaseInUse と APIRemovedInNextEUSReleaseInUse の詳細を確認してみます。

$ A1=APIRemovedInNextReleaseInUse
$ A2=APIRemovedInNextEUSReleaseInUse
$ curl -skH "Authorization: Bearer $SA" https://$ALERT_MANAGER/api/v1/alerts | jq -r --arg A1 $A1 --arg A2 $A2 '.data[] | .labels.alertname as $L | select($L == $A1 or $L == $A2) | .labels ,.annotations'
{
  "alertname": "APIRemovedInNextReleaseInUse",
  "group": "networking.k8s.io",
  "prometheus": "openshift-monitoring/k8s",
  "resource": "ingresses",
  "severity": "info",
  "version": "v1beta1"
}
{
  "message": "Deprecated API that will be removed in the next version is being used. Removing the workload that is using the networking.k8s.io.v1beta1/ingresses API might be necessary for a successful upgrade to the next cluster version. Refer to `oc get apirequestcounts ingresses.v1beta1.networking.k8s.io -o yaml` to identify the workload."
}
{
  "alertname": "APIRemovedInNextEUSReleaseInUse",
  "group": "networking.k8s.io",
  "prometheus": "openshift-monitoring/k8s",
  "resource": "ingresses",
  "severity": "info",
  "version": "v1beta1"
}
{
  "message": "Deprecated API that will be removed in the next EUS version is being used. Removing the workload that is using the networking.k8s.io.v1beta1/ingresses API might be necessary for a successful upgrade to the next EUS cluster version. Refer to `oc get apirequestcounts ingresses.v1beta1.networking.k8s.io -o yaml` to identify the workload."
}

Using APIRequestCount to identify uses of removed APIs

ドキュメントに記載されている oc get apirequestcounts コマンドで、API Request Count を確認してみます。

$ oc get apirequestcounts -o jsonpath='{range .items[?(@.status.removedInRelease!="")]}{.status.removedInRelease}{"\t"}{.metadata.name}{"\n"}{end}'
1.22    certificatesigningrequests.v1beta1.certificates.k8s.io
1.22    customresourcedefinitions.v1beta1.apiextensions.k8s.io
1.21    flowschemas.v1alpha1.flowcontrol.apiserver.k8s.io
1.22    ingresses.v1beta1.extensions
1.22    ingresses.v1beta1.networking.k8s.io
1.22    validatingwebhookconfigurations.v1beta1.admissionregistration.k8s.io

$ oc get apirequestcounts | awk '$2 ~ /^1\.2[12]$/ || $2 == "REMOVEDINRELEASE"'
NAME                                                                           REMOVEDINRELEASE   REQUESTSINCURRENTHOUR   REQUESTSINLAST24H
certificatesigningrequests.v1beta1.certificates.k8s.io                         1.22               0                       0
customresourcedefinitions.v1beta1.apiextensions.k8s.io                         1.22               0                       0
flowschemas.v1alpha1.flowcontrol.apiserver.k8s.io                              1.21               0                       0
ingresses.v1beta1.extensions                                                   1.22               14                      363
ingresses.v1beta1.networking.k8s.io                                            1.22               6                       180
validatingwebhookconfigurations.v1beta1.admissionregistration.k8s.io           1.22               0                       0

上記から、ingresses.v1beta1.extensions と ingresses.v1beta1.networking.k8s.io が使用されている (= API Request Count が 0 ではない) 事が分かります。

Using APIRequestCount to identify which workloads are using the removed APIs

ドキュメントに記載されている方法で、対象 API Request の使用者を確認してみます。
※ Linux Distribution によっては、column コマンドのオプションが異なる可能性があるようです。

$ oc get apirequestcounts ingresses.v1beta1.networking.k8s.io -o jsonpath='{range .status.currentHour..byUser[*]}{..byVerb[*].verb}{","}{.username}{","}{.userAgent}{"\n"}{end}' | sort -k 2 -t, -u | column -t -s,
watch  system:serviceaccount:cert-manager:cert-manager  controller/v0.0.0

$ oc get apirequestcounts ingresses.v1beta1.extensions -o jsonpath='{range .status.currentHour..byUser[*]}{..byVerb[*].verb}{","}{.username}{","}{.userAgent}{"\n"}{end}' | sort -k 2 -t, -u | column -t -s,
watch  system:kube-controller-manager  cluster-policy-controller/v0.0.0
watch  system:kube-controller-manager  kube-controller-manager/v1.21.8+ed4d8fd

これによって、ingresses.v1beta1.networking.k8s. と ingresses.v1beta1.extensions の使用者に関する UserName、Verb、UserAgent が分かります。これらについて OCP 4.9 の Upgrade に対応するための処置を行うことになります。なお、公式ドキュメントの記載にあるように system:kube-controller-manager は無視をして問題ないため、ここでは system:serviceaccount:cert-manager:cert-manager のみが処置の対象になります。

Providing the administrator acknowledgment

OCP 4.9 の Upgrade に対応するための処置が完了した後、管理者の確認 (Administrator Acknowledgment) を設定することで、OCP 4.9 への Upgrade が可能になります。
Administrator Acknowledgment は以下に設定しますが、初期値はありません。

$ oc get cm admin-acks -n openshift-config
NAME         DATA   AGE
admin-acks   0      3d4h

$ oc -o json get cm admin-acks -n openshift-config | jq -r '.data'
null

以下のコマンドで、Administrator Acknowledgment を設定します。

$ oc -n openshift-config patch cm admin-acks --patch '{"data":{"ack-4.8-kube-1.22-api-removals-in-4.9":"true"}}' --type=merge
configmap/admin-acks patched

$ oc get cm admin-acks -n openshift-config
NAME         DATA   AGE
admin-acks   1      3d4h

$ oc -o json get cm admin-acks -n openshift-config | jq -r '.data'
{
  "ack-4.8-kube-1.22-api-removals-in-4.9": "true"
}

Administrator Acknowledgment 設定後、oc adm upgrade コマンドを実行すると Upgradeable=False のメッセージが表示されなくなります。

oc adm upgrade
Cluster version is 4.8.39

Updates:

VERSION IMAGE
4.9.31  quay.io/openshift-release-dev/ocp-release@sha256:2a28b8ebb53d67dd80594421c39e36d9896b1e65cb54af81fbb86ea9ac3bf2d7

同様に、OCP Console でもメッセージが表示されなくなります。

これで更新の準備 (Preparing to update) が完了となり、OCP 4.9 への Upgrade が可能となります。