IBM Cloud Privateのデフォルトのインストールでは、モニタリングデータは永続化されない。インストール後にPVに保管するように設定変更する方法のメモ。

コンポーネント	バージョン
IBM Cloud Private	v2.1.0.3

インストール時のパラメータ

インストール時のconfig.yamlのパラメータでstorageClassを指定できる。ただし、NFSなど動的プロビジョニングできない場合は指定できないし、インストール後に設定変更したい場合もあるのでインストール後に変更する方法を調べる。

monitoring:
 prometheus:
   scrapeInterval: 1m
   evaluationInterval: 1m
   retention: 24h
   persistentVolume:
     enabled: false
     storageClass: "-"
 alertmanager:
   persistentVolume:
     enabled: false
     storageClass: "-"
 grafana:
   user: "admin"
   password: "admin"
   persistentVolume:
     enabled: false
     storageClass: "-"

方法としては以下ができる。

Prometheus/Alertmanager/Grafanaのdeploymentを直接編集する
ibm-icploggingのhelmリリースのvaluesを変えてhelm upgradeする

ここでは前者の方法を書いているが、後者の方法がよいと思う。後者の方法は以下。

ICPでモニタリングデータをPVに保管する（helm upgrade）

PV/PVCの作成

Prometheus/Alertmanager/Grafanaがデータを保管するためのPV/PVCを作成する。今回はhostPathを使用。

ディレクトリを作成する。Prometheus/Alertmanagerプロセスはrootだが、Grafanaプロセスは104:107というUID:GIDで動作するので合わせておく。

mkdir -p /export/prometheus
mkdir -p /export/alertmanager
mkdir -p /export/grafana
chown 104:107 /export/grafana

マニフェストファイルを作成する。

prometheus-pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: prometheus-pv
spec:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 10Gi
  hostPath:
    path: /export/prometheus
    type: ""
  storageClassName: prometheus
  persistentVolumeReclaimPolicy: Retain
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: prometheus-pvc
  namespace: kube-system
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  storageClassName: prometheus

alertmanager-pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: alertmanager-pv
spec:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 1Gi
  hostPath:
    path: /export/alertmanager
    type: ""
  storageClassName: alertmanager
  persistentVolumeReclaimPolicy: Retain
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: alertmanager-pvc
  namespace: kube-system
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: alertmanager

grafana-pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: grafana-pv
spec:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 1Gi
  hostPath:
    path: /export/grafana
    type: ""
  storageClassName: grafana
  persistentVolumeReclaimPolicy: Retain
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: grafana-pvc
  namespace: kube-system
spec:
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: grafana

PV/PVCを作成する。

kubectl apply -f prometheus-pv.yaml
kubectl apply -f alertmanager-pv.yaml
kubectl apply -f grafana-pv.yaml

作成されたPV/PVCを確認。

# kubectl get pvc -n kube-system
NAME                            STATUS    VOLUME                          CAPACITY   ACCESS MODES   STORAGECLASS               AGE
alertmanager-pvc                Bound     alertmanager-pv                 1Gi        RWO                                       24s
data-logging-elk-data-0         Bound     logging-datanode-172.30.1.224   20Gi       RWO            logging-storage-datanode   53m
grafana-pvc                     Bound     grafana-pv                      1Gi        RWO                                       56s
helm-repo-pvc                   Bound     helm-repo-pv                    5Gi        RWO            helm-repo-storage          54m
image-manager-image-manager-0   Bound     image-manager-172.30.1.224      20Gi       RWO            image-manager-storage      1h
mongodbdir-icp-mongodb-0        Bound     mongodb-172.30.1.224            20Gi       RWO            mongodb-storage            59m
prometheus-pvc                  Bound     prometheus-pv                   10Gi       RWO                                       1m
# kubectl get pv
NAME                            CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS    CLAIM                                       STORAGECLASS               REASON    AGE
alertmanager-pv                 1Gi        RWO            Retain           Bound     kube-system/alertmanager-pvc                                                     36s
grafana-pv                      1Gi        RWO            Retain           Bound     kube-system/grafana-pvc                                                          1m
helm-repo-pv                    5Gi        RWO            Delete           Bound     kube-system/helm-repo-pvc                   helm-repo-storage                    54m
image-manager-172.30.1.224      20Gi       RWO            Retain           Bound     kube-system/image-manager-image-manager-0   image-manager-storage                1h
logging-datanode-172.30.1.224   20Gi       RWO            Retain           Bound     kube-system/data-logging-elk-data-0         logging-storage-datanode             1h
mongodb-172.30.1.224            20Gi       RWO            Retain           Bound     kube-system/mongodbdir-icp-mongodb-0        mongodb-storage                      1h
prometheus-pv                   10Gi       RWO            Retain           Bound     kube-system/prometheus-pvc                                                       1m
#

Prometheusの設定変更

PrometheusのストレージをemptyDirから作成したPVCに変更する。

kubectl edit deploy -n kube-system monitoring-prometheus

以下の部分を

      - emptyDir: {}
        name: storage-volume

以下に変更する。

      - persistentVolumeClaim:
          claimName: prometheus-pvc
        name: storage-volume

Alertmanagerの設定変更

AlertmanagerのストレージをemptyDirから作成したPVCに変更する。

kubectl edit deploy -n kube-system monitoring-prometheus-alertmanager

以下の部分を

      - emptyDir: {}
        name: storage-volume

以下に変更する。

      - persistentVolumeClaim:
          claimName: alertmanager-pvc
        name: storage-volume

Grafanaの設定変更

GrafanaのストレージをemptyDirから作成したPVCに変更する。名前に注意。

kubectl edit deploy -n kube-system monitoring-grafana

以下の部分を

      - emptyDir: {}
        name: grafana-storage

以下に変更する。

      - persistentVolumeClaim:
          claimName: grafana-pvc
        name: grafana-storage

Grafanaのデータソース登録

Podが再作成されたことでGrafanaのデータソース設定が消えているので、登録し直す。

以下のJobを作成する。

job.yaml

apiVersion: batch/v1
kind: Job
metadata:
  labels:
    app: monitoring-grafana
    component: setds
  name: monitoring-grafana-ds
  namespace: kube-system
spec:
  activeDeadlineSeconds: 300
  template:
    metadata:
      labels:
        app: monitoring-grafana
        component: setds
    spec:
      tolerations:
      - key: "dedicated"
        operator: "Exists"
        effect: "NoSchedule"
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: beta.kubernetes.io/arch
                operator: In
                values:
                - amd64
                - ppc64le
              - key: management
                operator: In
                values:
                - "true"
      containers:
      - name: grafana-ds
        image: "ibmcom/curl:3.6"
        command: ["/opt/entry/entrypoint.sh"]
        volumeMounts:
          - mountPath: "/opt/ibm/monitoring/certs"
            name: monitoring-client-certs
          - mountPath: "/opt/ibm/monitoring/ca-certs"
            name: monitoring-ca-cert
          - mountPath: "/opt/entry"
            name: grafana-ds-entry
      volumes:
        - name: monitoring-client-certs
          secret:
            secretName: monitoring-monitoring-client-certs
        - name: monitoring-ca-cert
          secret:
            secretName: monitoring-monitoring-ca-cert
        - name: grafana-ds-entry
          configMap:
            name: monitoring-grafana-ds-entry-config
            defaultMode: 0744
      restartPolicy: OnFailure

完了済みのJobを削除し、作成したJobを実行する。

kubectl delete jobs -n kube-system monitoring-grafana-ds
kubectl apply -f job.yaml -n kube-system

参考リンク