OCP4.8にIBM Cloud Pak for Data (CP4D)をインストールしている時、OCPのグローバルプルシークレット変更時の挙動が変わったことに気づきました。OCPドキュメントで変更内容を確認のうえ、OCP4.6とOCP4.8で実際の挙動を検証してみました。

グローバルプルシークレットについて

CP4Dでは、ポッドなどのリソースは、IBM Entitled Registryからプルするように設定されています。このレジストリは保護されており、資格キーを使用してのみアクセスできます。 IBM Entitled registry から直接イメージをプルする場合、グローバルプルシークレットに IBM の資格 API キーが含まれている必要があります。
CP4D 4.0の関連手順：Cloud Pak for Data イメージをプルするためのクラスターの構成

さて、OCP 4.8 のドキュメントに次の記述があります。
5.4.3. グローバルクラスターのプルシークレットの更新

現在のプルシークレットを置き換えるか、新しいプルシークレットを追加することで、クラスターのグローバルプルシークレットを更新できます。

注記
OpenShift Container Platform 4.7.4 の時点で、グローバルプルシークレットへの変更によってノードドレインまたは再起動がトリガーされなくなりました。

「OpenShift Container Platform 4.7.4 の時点で、グローバルプルシークレットへの変更によってノードドレインまたは再起動がトリガーされなくなりました。」というのは、次のどちらの意味？　という疑問がわきました。

ノードドレインまたは再起動がトリガーされないが、変更が適用される
ノードドレインまたは再起動がトリガーされないので、変更の適用には手動でノードドレインまたは再起動がトリガーが必要

release notesを見てみます。
OpenShift Container Platform 4.7 release notes

Some machine configuration updates no longer cause automatic reboot

The Machine Config Operator (MCO) no longer automatically reboots all corresponding nodes for the following machine configuration changes:

changes to the SSH key in the spec.config.ignition.passwd.users.sshAuthorizedKeys parameter of a machine config

changes to the global pull secret or pull secret in the openshift-config namespace

changes to the /etc/containers/registries.conf file, such as adding or editing an ImageContentSourcePolicy object

For more information, see Understanding the Machine Config Operator.

まだ曖昧です。リンク先のUnderstanding the Machine Config Operatorを見てみます。

openshift-config namespaceのグローバルプルシークレットまたはプルシークレットへの変更については、MCOが変更を検出すると、ノードをドレインまたは再起動せずに更新を適用する。ということでよさそうです。

以下、CP4Dのためのグローバルプルシークレットの更新を行い、挙動をOCP4.6とOCP4.8で比較確認した例です。OCP4.8ではノードの再起動なしで、変更が適用されることを確認できました。

確認例

参考手順
Cloud Pak for Data イメージをプルするためのクラスターの構成

１．クラスター管理者としてOCPクラスターにログインします。

２．既存のglobal image pull secretがあるかどうかを確認します。

# oc extract secret/pull-secret -n openshift-config
.dockerconfigjson

.dockerconfigjsonが空でない場合、既存のglobal image pull secretがあります。以下、この空でない場合の手順です。

３．usernameとpasswordをBase64エンコーディングでエンコードした文字列をb64_credentialにセットします。

# b64_credential=`echo -n "cp:$CPD_KEY" | base64 -w0`

４．JSONファイルのauthセクションにコンテナレジストリのエントリーを追加します。

if [ "$(cat .dockerconfigjson  | grep '.auths' | grep 'cp.icr.io')" = "" ]; then
  echo "updating .dockerconfigjson"
  sed -i -e 's|:{|:{"cp.icr.io":{"auth":"'$b64_credential'"\},|' .dockerconfigjson
fi

５．新しい構成をアプライします。

# oc set data secret/pull-secret -n openshift-config --from-file=.dockerconfigjson=.dockerconfigjson

OCP4.6 の場合

すべてのノードが自動的に再起動されます。

６．ノードのSTATUSをチェックし、すべてのノードがReadyになるまで待ちます。

# oc get nodes

### 出力例：　待つべき状態
# oc get nodes
NAME       STATUS                     ROLES    AGE   VERSION
infra-0    Ready                      worker   35d   v1.19.0+d5ed12c
infra-1    Ready                      worker   35d   v1.19.0+d5ed12c
infra-2    Ready                      worker   35d   v1.19.0+d5ed12c
master-0   Ready,SchedulingDisabled   master   36d   v1.19.0+d5ed12c
master-1   Ready                      master   36d   v1.19.0+d5ed12c
master-2   Ready                      master   36d   v1.19.0+d5ed12c
worker-0   Ready                      worker   35d   v1.19.0+d5ed12c
worker-1   Ready,SchedulingDisabled   worker   35d   v1.19.0+d5ed12c
worker-2   Ready                      worker   35d   v1.19.0+d5ed12c
worker-3   Ready                      worker   35d   v1.19.0+d5ed12c
worker-4   Ready                      worker   35d   v1.19.0+d5ed12c
worker-5   Ready                      worker   35d   v1.19.0+d5ed12c


### 出力例：　すべてのノードがReadyになった状態
# oc get nodes
NAME       STATUS   ROLES    AGE   VERSION
infra-0    Ready    worker   36d   v1.19.0+d5ed12c
infra-1    Ready    worker   36d   v1.19.0+d5ed12c
infra-2    Ready    worker   36d   v1.19.0+d5ed12c
master-0   Ready    master   36d   v1.19.0+d5ed12c
master-1   Ready    master   36d   v1.19.0+d5ed12c
master-2   Ready    master   36d   v1.19.0+d5ed12c
worker-0   Ready    worker   36d   v1.19.0+d5ed12c
worker-1   Ready    worker   36d   v1.19.0+d5ed12c
worker-2   Ready    worker   36d   v1.19.0+d5ed12c
worker-3   Ready    worker   36d   v1.19.0+d5ed12c
worker-4   Ready    worker   36d   v1.19.0+d5ed12c
worker-5   Ready    worker   36d   v1.19.0+d5ed12c

すべてのノードがReadyになった後、各ノードにログインすると、
/var/lib/kubelet/config.json に cp.icr.io の情報が適用されていることを確認できました。

# oc debug node/worker-0
sh-4.4# chroot /host
sh-4.4# ls -l /var/lib/kubelet/config.json
-rw-------. 1 root root 2995 Dec  9  2021 /var/lib/kubelet/config.json

OCP4.8 の場合

ノードは再起動されず、常にReadyのままでしたが、Machine Config Pool Operatorの出力oc get mcpからノードが順次更新されていることを確認できました。

# oc get nodes
NAME       STATUS   ROLES    AGE     VERSION
infra-0    Ready    worker   6d      v1.21.11+6b3cbdd
infra-1    Ready    worker   6d      v1.21.11+6b3cbdd
infra-2    Ready    worker   6d      v1.21.11+6b3cbdd
master-0   Ready    master   6d      v1.21.11+6b3cbdd
master-1   Ready    master   6d      v1.21.11+6b3cbdd
master-2   Ready    master   6d      v1.21.11+6b3cbdd
worker-0   Ready    worker   6d      v1.21.11+6b3cbdd
worker-1   Ready    worker   5d23h   v1.21.11+6b3cbdd
worker-2   Ready    worker   6d      v1.21.11+6b3cbdd
worker-3   Ready    worker   6d      v1.21.11+6b3cbdd
worker-4   Ready    worker   6d      v1.21.11+6b3cbdd
worker-5   Ready    worker   6d      v1.21.11+6b3cbdd
# oc get mcp
NAME     CONFIG                                             UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
master   rendered-master-b2f8e48b76335b1e285b5dac02474ace   False     True       False      3              1                   1                     0                      6d
worker   rendered-worker-5bd7fe1a029cd154492507193689b559   False     True       False      9              1                   1                     0                      6d
# oc get nodes
NAME       STATUS   ROLES    AGE     VERSION
infra-0    Ready    worker   6d      v1.21.11+6b3cbdd
infra-1    Ready    worker   6d      v1.21.11+6b3cbdd
infra-2    Ready    worker   6d      v1.21.11+6b3cbdd
master-0   Ready    master   6d      v1.21.11+6b3cbdd
master-1   Ready    master   6d      v1.21.11+6b3cbdd
master-2   Ready    master   6d      v1.21.11+6b3cbdd
worker-0   Ready    worker   6d      v1.21.11+6b3cbdd
worker-1   Ready    worker   5d23h   v1.21.11+6b3cbdd
worker-2   Ready    worker   6d      v1.21.11+6b3cbdd
worker-3   Ready    worker   6d      v1.21.11+6b3cbdd
worker-4   Ready    worker   6d      v1.21.11+6b3cbdd
worker-5   Ready    worker   6d      v1.21.11+6b3cbdd
# oc get mcp
NAME     CONFIG                                             UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
master   rendered-master-70f5548c06f39a4b28212587ceb063bc   True      False      False      3              3                   3                     0                      6d
worker   rendered-worker-5bd7fe1a029cd154492507193689b559   False     True       False      9              4                   4                     0                      6d
# oc get nodes
NAME       STATUS   ROLES    AGE     VERSION
infra-0    Ready    worker   6d      v1.21.11+6b3cbdd
infra-1    Ready    worker   6d      v1.21.11+6b3cbdd
infra-2    Ready    worker   6d      v1.21.11+6b3cbdd
master-0   Ready    master   6d      v1.21.11+6b3cbdd
master-1   Ready    master   6d      v1.21.11+6b3cbdd
master-2   Ready    master   6d      v1.21.11+6b3cbdd
worker-0   Ready    worker   6d      v1.21.11+6b3cbdd
worker-1   Ready    worker   5d23h   v1.21.11+6b3cbdd
worker-2   Ready    worker   6d      v1.21.11+6b3cbdd
worker-3   Ready    worker   6d      v1.21.11+6b3cbdd
worker-4   Ready    worker   6d      v1.21.11+6b3cbdd
worker-5   Ready    worker   6d      v1.21.11+6b3cbdd
# oc get mcp
NAME     CONFIG                                             UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
master   rendered-master-70f5548c06f39a4b28212587ceb063bc   True      False      False      3              3                   3                     0                      6d
worker   rendered-worker-5bd7fe1a029cd154492507193689b559   False     True       False      9              6                   6                     0                      6d
# oc get nodes
NAME       STATUS   ROLES    AGE     VERSION
infra-0    Ready    worker   6d      v1.21.11+6b3cbdd
infra-1    Ready    worker   6d      v1.21.11+6b3cbdd
infra-2    Ready    worker   6d      v1.21.11+6b3cbdd
master-0   Ready    master   6d      v1.21.11+6b3cbdd
master-1   Ready    master   6d      v1.21.11+6b3cbdd
master-2   Ready    master   6d      v1.21.11+6b3cbdd
worker-0   Ready    worker   6d      v1.21.11+6b3cbdd
worker-1   Ready    worker   5d23h   v1.21.11+6b3cbdd
worker-2   Ready    worker   6d      v1.21.11+6b3cbdd
worker-3   Ready    worker   6d      v1.21.11+6b3cbdd
worker-4   Ready    worker   6d      v1.21.11+6b3cbdd
worker-5   Ready    worker   6d      v1.21.11+6b3cbdd
# oc get mcp
NAME     CONFIG                                             UPDATED   UPDATING   DEGRADED   MACHINECOUNT   READYMACHINECOUNT   UPDATEDMACHINECOUNT   DEGRADEDMACHINECOUNT   AGE
master   rendered-master-70f5548c06f39a4b28212587ceb063bc   True      False      False      3              3                   3                     0                      6d
worker   rendered-worker-41212b91c87e872023b4b58c7f876d82   True      False      False      9              9                   9                     0                      6d

oc get mcpの出力でUPDATINGがFALSEになった後、各ノードにログインすると、OCP4.6の場合と同様に /var/lib/kubelet/config.json に cp.icr.io の情報が適用されていることを確認できました。