抱えていた問題

PVCのデータが増えていくので、以下のようなコマンドでちょっとずつ拡張していた→手作業！

kubectl patch pvc <pvc-name> -p '{"spec":{"resources":{"requests":{"storage":"70Gi"}}}}}'

手作業をへらすために、大きく拡張すれば、コストの無駄が出るし、少しずつ拡張すれば工数の無駄が出る。

なんとかせねば。

考慮したもの

Kintone Engineering Blogにあった記事
- [https://blog.kintone.io/entry/pvc-autoresizer](Introducing pvc-autoresizer)
- コード: https://github.com/topolvm/pvc-autoresizer
RedHatのブログにあった記事
- Automating Volume Expansion Management - an Operator-based Approach
- コード: https://github.com/redhat-cop/volume-expander-operator

選択結果: RedHatのほうは、PodのRestartまでOperatorの中に実装されていたが、Kubernetes 1.15で ExpandInUsePersistentVolumesがBetaになってDefaultでTrueになってるからRecreateいらないのではと思って1つ目の pvc-autoresizerにした

既存のPVCを使用しているPodまたはDeploymentを削除して再作成する必要はありません。使用中のPVCは、ファイルシステムが拡張されるとすぐにPodで自動的に使用可能になります。

pvc-autoresizerとは

Prometheusでkubeletのディスクに関するメトリクスをあつめて、ディスク使用量が指定した閾値に達したら、ボリュームを拡張するというもの。 (betaではある)

READMEがしっかりしていてわかりやすいが、個人的には、 design.mdがもっとわかりやすいのでこちらを先に読むのがおすすめ。

1. Prometheusでストレージのサイズのメトリクスを収集

ubeletで収集するvolume stats

kubelet_volume_stats_available_bytes
kubelet_volume_stats_capacity_bytes
のメトリクスをPrometheusでScrapeする

2. pvc-autoresizerをデプロイ

helm repo add pvc-autoresizer https://topolvm.github.io/pvc-autoresizer
helm repo update

helm install --create-namespace --namespace pvc-autoresizer pvc-autoresizer pvc-autoresizer/pvc-autoresizer --set "controller.args.prometheusURL=http://prometheus-operated.monitoring.svc:9090"

以下のようなオプションがある:

controller.args.prometheusURL
controller.replicas
controller.args.additionalArgs

詳細はcharts/pvc-autoresizer

2. `StorageClass`の変更

resize.topolvm.io/enabled: "true"をアノテーションにつけるだけ。

(or pvc-autoresizerを--no-annotation-check=trueで起動する)

ただし条件:

allowVolumeExpansion: trueに設定が必要

3. `PVC`の変更

どんな条件で拡張するかをアノテーションで指定:

resize.topolvm.io/storage_limit (必須) 例. 200Gi
resize.topolvm.io/threshold (任意の %か Gi) defaultは 10%
resize.topolvm.io/increase (任意の % か Gi) defaultは 10%

ストレージがどこまで行ったら (threshold)、マックスどこまで(storage_limit)、どれだけふやすのか(increase)というとてもわかり易い！

ただし条件:

volumeMode: Filesystem でないといけない
spec.storageClassNameに上記のStorageClassが入ってないといけない

ハマリポイント

PVCのspec.storageClassName <- StatefulSetなどでPersistentVolumeClaimなどでAnnotationだけ書いてるとこのフィールドがなくてStorageClassにたいしてPVCを取得するところで対象にならないので注意!
kubelet_volume_stats_available_bytesとkubelet_volume_stats_capacity_bytesのメトリクスをPrometheus OperatorのServiceMonitorで取得していると exposed_namespace にPVCのNamespaceが格納されるが、pvc-autoresizerではnamespaceを見るので、間違ったものを見るためにif _, ok := vsMap[namespacedName]; !okで弾かれるので注意
これらを探すのにLogが少なくてDebugが大変！ -> 自分でForkしてログ足してデプロイして始めて発見した。

感謝

いろいろあったがしっかり動いたので、こんな便利なものを作って公開してくれる人に感謝！

参考

[https://blog.kintone.io/entry/pvc-autoresizer](Introducing pvc-autoresizer)
https://github.com/topolvm/pvc-autoresizer
Automating Volume Expansion Management - an Operator-based Approach
https://github.com/redhat-cop/volume-expander-operator