はじめに

本ドキュメントでは、Kubernetes 1.31.0のCHANGELOGをベースにSIG Storageに関する機能について紹介します。
がついた文章は、CHANGELOGの公式内容ではなく筆者の補足です。

アップグレード前に絶対に確認が必要な変更点 (Urgent Upgrade Notes)

Kubeletフラグ --keep-terminated-pod-volumes が削除されました。このフラグは2017年に非推奨とされていました。 (#122082, @carlory) [SIG Apps, Node, Storage and Testing]
ボリューム拡張に失敗したときの状態変更のノイズを減らしました。また、特定の失敗を実行不可能であるとマークしました。
ACTION REQUIRED: RecoverVolumeExpansionFailure アルファのfeature gateを使用している場合、このリリースにアップグレード後、一部のオブジェクトを更新する必要があります。status.allocatedResourceStatusが"ControllerResizeFailed"または"NodeResizeFailed"に設定されている既存のPersistentVolumeClaimsは、status.allocatedResourceStatusをクリアしてください。[#126108, @gnufied] [SIG Apps, Auth, Node, Storage and Testing]

Changes by Kind

非推奨 (Deprecation)

PersistentVolume (PV)をvolume.beta.kubernetes.io/mount-optionsの非推奨アノテーションで作成または更新するときの警告が追加されました。[#124819, @carlory]
CephFS volume plugin (kubernetes.io/cephfs)がこのリリースで削除され、cephfs volume typeが機能しなくなりました。代替策として、CephFS CSIドライバ(https://github.com/ceph/ceph-csi/ )をKubernetesクラスタで使用してください。1.31+へのクラスターバージョンのアップグレード前にkubernetes.io/cephfsボリュームプラグインを使用していた場合は、新しいドライバを使用するためにアプリケーションの再デプロイが必要です。[#124544, @carlory] [SIG Node, Scalability, Storage and Testing]
CephRBD volume plugin(kubernetes.io/rbd)がこのリリースで削除されました。また、そのCSIマイグレーションサポートも削除されたため、rbd volume typeは機能しなくなりました。代替策として、RBD CSIドライバ(https://github.com/ceph/ceph-csi/ )をKubernetesクラスターで使用してください。1.31+へのクラスターバージョンのアップグレード前にkubernetes.io/rbdボリュームプラグインを使用していた場合は、新しいドライバを使用するためにアプリケーションの再デプロイが必要です。[#124546, @carlory] [SIG Node, Scalability, Scheduling, Storage and Testing]
Kube-schedulerはすべての非CSIボリューム制限プラグインを非推奨とし、デフォルトプラグインから削除しました。
- AzureDiskLimits
- CinderLimits
- EBSLimits
- GCEPDLimits
  これらのボリュームタイプはCSIに移行されたため、NodeVolumeLimitsプラグインが上記プラグインと同じ機能を処理できます。スケジューラの設定でこれらのプラグインを明示的に使用している場合は、それらを削除してNodeVolumeLimitsプラグインに置き換えてください。これらのプラグインは1.32リリースで削除されます。[#124500, @carlory] [SIG Scheduling and Storage]

APIの変更 (API Change)

PersistentVolumeLastPhaseTransitionTime機能がstableとなり、デフォルトで有効になっています。[#124969, @RomanBednar] [SIG API Machinery, Apps, Storage and Testing]
LocalStorageCapacityIsolationがベータ版に昇格し、デフォルトで有効になりました。feature gateが有効であり、特定のPodがユーザネームスペースを使用している場合に、kubelet内でストレージ容量の隔離がアクティブになります。[#126014, @PannagaRao] [SIG Apps, Autoscaling, Node, Storage and Testing]
feature-gate VolumeAttributesClassがベータ版に昇格しました（デフォルトでは無効）。この機能を使用するには、feature gateを有効にし、storage.k8s.io/v1beta1 のAPIグループを使用する必要があります。VolumeAttributesClass APIはベータ版に昇格しました。[#126145, @carlory] [SIG API Machinery, Apps, CLI, Etcd, Storage and Testing]
kube-controller-managerから非推奨のコマンドフラグ --volume-host-cidr-denylist と --volume-host-allow-local-loopback が削除されました。[#124017, @carlory] [SIG API Machinery, Apps, Cloud Provider and Storage]

機能 (Feature)

失敗するテスト (Failing Test)

SIG Storageに関連するものはなし

バグまたはリグレッション (Bug or Regression)

"-kube-test-repo-list" e2e フラグが効果を発揮しない可能性があるという問題を修正しました。（＃123587, @huww98）[SIG API Machinery, Apps, Autoscaling, CLI, Network, Node, Scheduling, Storage, Testing and Windows]
Windows上のkubeletにて、SecurityContextでRunAsUserを持つPodがある場合に失敗するという問題を修正しました。（＃125040, @carlory）[SIG Storage, Testing and Windows]
静的にプロビジョニングされたPVに関して、そのvolume sourceがCSIタイプであるか、移行されたアノテーションを持っている場合、削除されたときPersistentVolumeコントローラーはそのフェーズを"Failed"状態に変更しなくなりました。このパッチにより、external provisionerは次の調整ループでfinalizerを削除できるようになります。ただし残念ながら、既存のPVが"Failed"状態にある場合、このパッチは効果がありません。finalizerをユーザー自身で除去する必要があります。（＃125767, @carlory）[SIG Apps and Storage]
Mount-utilsはsyscall.ENODEVを破損したマウントとして扱うようになりました。（＃126174, @dobsonj）
PersistentVolumeLabelのadmissionプラグインを削除しました。類似の機能が必要な場合は代わりに https://github.com/kubernetes-sigs/cloud-pv-admission-labeler を使用してください。（＃124505, @jsafrane）[SIG API Machinery, Auth and Storage]
client-genによって生成された"fake"クライアントは、エラー時に本物のクライアントと同じセマンティクスを持つようになりました。特に、失敗したGet()やCreate()などはnilを返さなくなりました（本物のクライアントがそうであるように、0値のオブジェクトへのポインタを返すようになりました）。これにより、err != nil ではなく result == nil をテストしていたいくつかの下流のユニットテストが壊れ、場合によっては、間違ったユニットテストによって潜在的なバグが露見する可能性があります。（＃122892, @danwinship）[SIG API Machinery, Auth, Cloud Provider, Instrumentation and Storage]

その他 (Cleanup or Flake)

このリリースでは、Container Storage Interface (CSI)のスペックサポートがv1.9.0にアップデートされました。（＃125150, @humblec）[SIG Storage and Testing]
GAとなったfeature gateのCSINodeExpandSecretを削除しました。(#124462, @carlory)
GAとなったfeature gateのReadWriteOncePodを削除しました。(#124462, @carlory)
次のfeature gatesを削除しました。
- InTreePluginAWSUnregister
- InTreePluginAzureDiskUnregister
- InTreePluginAzureFileUnregister
- InTreePluginGCEUnregister
- InTreePluginOpenStackUnregister
- InTreePluginvSphereUnregister (#124815, @carlory) [SIG Storage]
最後に残っていたGCP cloud provierとcredential providerを削除しました。代わりに、external cloud providerとcredential providerは https://github.com/kubernetes/cloud-provider-gcp を使用してください。（＃124519, @dims）[SIG API Machinery, Apps, Auth, Autoscaling, Cloud Provider, Instrumentation, Network, Node, Scheduling, Storage and Testing]

所感

Kubernetes v1.31ではIn-Treeでサポートされていた各社のストレージ対応の削除が進みました。
2018年にKubernetes v1.13にてCSIがGAとなり、2019年のv1.14にてIn-TreeからCSIへのMigrationのフレームワークがサポートされました。
計画の当初は2-3バージョンでIn-TreeからCSIへの移行が各社完了すると計画でしたが、振り返ってみると5年以上経過しようやくfeature gatesも含め削除が進んだ結果でした。
推察ですが、各社の開発が進まなかったというよりは、すでにPVにデータを格納しているユーザのデータ移行までも対応しつつの切り替えであったため、各社 In-Treeの
削除までには時間がかかってしまったのではないかと思います。

その他としては、本バージョンにてkubeletにてPV関連の各種プラグインにて一度スケジューリングを拒否されてしまったものをリトライするようなアップデートが実装されました。
これにより、ノードの追加やPVCの追加など環境や関連するリソースの状態が変化した際、PVC/PV付きのPodが正しく配置される確率が向上しています。

CSI関連もここ数バージョンは、目玉となる新しい機能追加はありませんが、安定性を向上させるようなアップデートが入っており、ユーザは気が付かないところで
安定性が向上しています。
古いKubernetesバージョンを利用されている方は、ぜひ新しいバージョンにアップデートし安定性を向上させることをお勧めします。