はじめに

Kubernetes v1.29にてGAとなったCSI Storage Resizing Authenticated(NodeExpandSecret)について動作検証を行います。
この機能は、PV(Volume)のサイズ拡張を行う際に、指定されたSecretにて設定されたパスフレーズをCSI Driverへ伝搬するための機能です。
そもそも、Volumeのサイズ拡張を行うVolume Expansion機能は、Kubernetes v1.24でGAとなっています。
通常のPV(Volume)であればGAされているVolume Expansion機能で対応可能なのですが、LUKSで暗号化されたVolumeのサイズ拡張など特殊なケースにおいてはパスフレーズが必要となります。
そのため、このパスフレーズをCSI Driverが利用するために本機能が必要となります。

検証環境

Kubernetes v1.27.6
- Kubernetes v1.27よりBeta機能として本機能が有効化
csi-provisioner v3.6.0
- csi-provisioner v3.3.0から本機能がサポート

検証

検証用にパスフレーズをdefault ネームスペース上にtest-secretに設定します。

$ kubectl create secret -n default generic test-secret \
    --from-literal=username='admin' \
    --from-literal=password='admin3'

次に、作成したSecretを指定したStorageClass(test-sc)を作ります。

test-sc.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: test-sc
parameters:
  csi.storage.k8s.io/node-expand-secret-name: test-secret
  csi.storage.k8s.io/node-expand-secret-namespace: default
provisioner: csi.hoge.io
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true

parametersにcsi.storage.k8s.io/node-expand-secret-name, csi.storage.k8s.io/node-expand-secret-namespaceを指定します。
また、Volume Expantionを許可する allowVolumeExpansionをtrueに設定します。

$ kubectl apply -f test-sc.yaml 
storageclass.storage.k8s.io/test-sc created

$ kubectl get sc
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
test-sc                csi.hoge.io   Delete          Immediate           true                   21m

次に、作成したStorageClass(test-sc)を使ったPod,PVC/PVを作成します。
利用するManifestを以下に示します。

pod-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: test-pvc
spec:
  storageClassName: test-sc
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:
  labels:
    run: pv-test
  name: pv-test
spec:
  containers:
  - image: busybox
    name: pv-test
    command:
    - sleep
    - infinity
    volumeMounts:
    - name: block
      mountPath: /mnt/block
  volumes:
  - name: block
    persistentVolumeClaim:
      claimName: test-pvc

上記Manifestをデプロイし、Pod,PVC,PVを確認します。

$ kubectl apply -f pod-pvc.yaml 
persistentvolumeclaim/test-pvc created
pod/pv-test created

$ kubectl get pod,pvc,pv
NAME          READY   STATUS    RESTARTS   AGE
pod/pv-test   1/1     Running   0          27s

NAME                             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/test-pvc   Bound    pvc-3622c5ea-d8f8-4292-9849-05c4cee1ed62   1Gi        RWO            test-sc        27s

NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS   REASON   AGE
persistentvolume/pvc-3622c5ea-d8f8-4292-9849-05c4cee1ed62   1Gi        RWO            Delete           Bound    default/test-pvc   test-sc                 24s

次に、PVCのサイズを1Giから5Giへ拡張します。

$ kubectl patch pvc test-pvc -p "{\"spec\":{\"resources\":{\"requests\":{\"storage\": \"5Gi\"}}}}"
persistentvolumeclaim/test-pvc patched

Pod,PVC,PVを確認します。

$ kubectl get pod,pvc,pv
NAME          READY   STATUS    RESTARTS   AGE
pod/pv-test   1/1     Running   0          2m1s

NAME                             STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/test-pvc   Bound    pvc-3622c5ea-d8f8-4292-9849-05c4cee1ed62   5Gi        RWO            test-sc        2m1s

NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS   REASON   AGE
persistentvolume/pvc-3622c5ea-d8f8-4292-9849-05c4cee1ed62   5Gi        RWO            Delete           Bound    default/test-pvc   test-sc                 118s


$ kubectl describe pod pv-test 
Events:
  Type     Reason                      Age    From                     Message
  ----     ------                      ----   ----                     -------
...
  Normal   FileSystemResizeSuccessful  10s    kubelet                  MountVolume.NodeExpandVolume succeeded for volume "pvc-3622c5ea-d8f8-4292-9849-05c4cee1ed62" demo-ysakashita-w-default-bc0c9fc1-zkb8g

PVC/PVとも5Giに拡張されています。
本挙動(Kubernetes上のリソースの動き)は、Secretの指定があっても、指定のない場合のVolume Expansionの動作と同じになります。
違いは、PVにnodeExpandSecretRefが追加されている点が異なります。

$ kubectl get pv pvc-3622c5ea-d8f8-4292-9849-05c4cee1ed62 -o yaml
...
  csi:
    nodeExpandSecretRef:
      name: test-secret
      namespace: default
...

感想

Storage Resizing Authenticatedは、CSIのRPCで呼び出されるnodeExpandVolumeの中で、PVに設定されたnodeExpandSecretRefを参照できるようにする機能となります。
多くの場合は、この機能は使わなくてもVolume Expansionできるでしょう。
ただし、一部のユースケースではSecretで設定されるパスフレーズが必要になります。
KEPなどに記載されているユースケースは以下です。

LUKSで暗号化されたVolumeのサイズ拡張で利用
CephにてFS拡張の誤動作を防ぐためバックエンドに接続しチェックを行うケースで利用

上記のケースに当てはまる場合は、本検証で行ったようにPVにnodeExpandSecretRefを付与してSecretの情報を渡さないと、Volume Expansionが出来ませんので適切に設定してください。

参考情報