Kubernetesを利用することのメリットの一つに、監視エージェントなどの導入が不要で、一度、ワーカーノードにモニタリングの機能をデプロイしておけば、名前空間を追加して、アプリケーションを載せても、アプリケーション毎に設定は不要という点がある。もちろん、必要なビューは設定する必要があるが、これまでの労力から比べれば簡単である。

ROOK Ceph のブロックストレージを検証したメモの記事で、ダイナミック・プロビジョニング可能な永続ストレージが利用できるようになったので、この基盤を利用して、メトリックス監視の時系列データベースのプロメテウス(Promethus)とブラウザ画面であるグラファナ(Grafana)、そして、ログ分析エラスティックサーチ(Elastiecsearch) とブラウザ画面キバナ (Kibana)を導入してみたい。そこで、今回はプロメテウスとグラファナについてとりあげる。

この記事は、ROOK Ceph のブロックストレージを検証したメモでインストールすたROOK Cephの環境を利用して、プロメテウスとグラファナを導入するものである。

kube-state-metrics とは

kube-state-metricsは、Kubernetes APIサーバーから情報を取得して、APIオブジェクトの状態に関するメトリックを生成するサービスである。このサービスはKubernetesのデプロイメント、ノード、ポッドなど内部のさまざまなオブジェクトの健全性に焦点を当てたものである。

kube-state-metricsは、修正なしにKubernetes APIオブジェクトからメトリックを生成する。これにより、kube-state-metricsによって提供される機能の安定性がKubernetes APIオブジェクト自体と同じグレードになる。しかし、注意点として kubectlは特定のヒューリスティックを適用して包括的なメッセージを表示する事から、kube-state-metrics と kubectlの表示は一致しないことがある。kube-state-metricsは、Kubernetes APIから加工されない生データを取得して公開する。これにより、ユーザーは必要なすべてのデータを取得し、必要に応じてヒューリスティックと呼ばれる手法によりデータを加工して表示する。

ヒューリスティクス（heuristic）または「発見的手法」とは、必ず正しい答えを導けるわけではないが、ある程度のレベルで正解に近い解を得ることができる。この手法は、答えの精度が保証されない代わりに、回答に至るまでの時間が少ないという特徴がある。

メトリックは、HTTPエンドポイント /metrics で、デフォルト8080のリスニングポートで公開される。。それらは平文として提供される。これらは、Prometheus本体または Prometheusクライアントのスクレイパーによって、データ収集されるように設計されている。 /metricsをブラウザで開いて、未加工のメトリックを表示することもできる。

kube-state-metrics のインストール

インストールは、GitHubからコードを取得して、デプロイすることができる。

git clone https://github.com/kubernetes/kube-state-metrics
cd kube-state-metrics
kubectl create clusterrolebinding cluster-admin-binding --clusterrole=cluster-admin --user=USER-MAIL-ADDRESS
kubectl apply -f examples/standard/

マスターノードに入って、エントリーポイントをリストして、得られたIPアドレスとポート番号そして/metricsでアクセスして、生データを取得することができる。

vagrant ssh master

kubectl get ep -n kube-system kube-state-metrics 
NAME                      ENDPOINTS                                               AGE
kube-state-metrics        10.244.2.12:8080,10.244.2.12:8081                       4m21s 

curl http://10.244.2.12:8080/metrics
# HELP kube_certificatesigningrequest_labels Kubernetes labels converted to Prometheus labels.
# TYPE kube_certificatesigningrequest_labels gauge
# HELP kube_certificatesigningrequest_created Unix creation timestamp
# TYPE kube_certificatesigningrequest_created gauge
# HELP kube_certificatesigningrequest_condition The number of each certificatesigningrequest condition
# TYPE kube_certificatesigningrequest_condition gauge
# HELP kube_certificatesigningrequest_cert_length Length of the issued cert
# TYPE kube_certificatesigningrequest_cert_length gauge
# HELP kube_configmap_info Information about configmap.
# TYPE kube_configmap_info gauge
kube_configmap_info{namespace="rook-ceph",configmap="rook-ceph-osd-node3-config"} 1
kube_configmap_info{namespace="kube-system",configmap="kube-proxy"} 1
kube_configmap_info{namespace="kube-public",configmap="cluster-info"} 1
kube_configmap_info{namespace="rook-ceph",configmap="local-device-node1"} 1
kube_configmap_info{namespace="rook-ceph",configmap="rook-config-override"} 1

kube-state-metrics と metrics-server の違い

メトリック・サーバーは、Heapsterに触発され、コアメトリクスパイプラインの目標を果たすためのKubernetes監視アーキテクチャを実装するものです。これは、すべてのKubernetesノードのkubeletが提供するメトリックを定期的にスクレイピングして公開するクラスタ・レベルのコンポーネントです。これにより集約されたメトリックは、メモリに保存され、メトリックAPI形式で公開される。そして、最新の値のみを保存し、サードパーティの宛先へのメトリックの転送は行わない。

一方、kube-state-metricsは、例えば、デプロイメント、レプリカセットなどに基づくメトリックなど、KubernetesのAPIオブジェクトの状態から、完全に新しいメトリックを生成することに焦点を当てている。Kubernetes状態のスナップショット全体をメモリに保持し、それに基づいて新しいメトリックを継続的に生成する。そして、メトリックサーバーと同様に自発的にメトリックスを転送する責任はない。メトリック情報を必要する者が取りに来るのを待っているサービスである。

Prometheusなどの監視システムから、kube-state-metrics や metrics-server が提供するメトリック情報にアクセスすることもできる。

参考URL: https://github.com/kubernetes/kube-state-metrics

Promethuse のインストール

ここでは Promethuseをインストールするために、HELM バージョン3 を使用した。kubectl で K8sクラスタへアクセスできる状態にしておき、helm3のクライアントを使って、インストールを実施する。

最初に、Helmチャートのリポジトリを追加する。

helm repo add stable https://kubernetes-charts.storage.googleapis.com/

確認として prometheusのチャートをサーチしてみる。

helm search repo prometheus
NAME                                 	CHART VERSION	APP VERSION	DESCRIPTION                                       
stable/prometheus                    	10.3.1       	2.15.2     	Prometheus is a monitoring system and time seri...
stable/prometheus-adapter            	2.0.1        	v0.5.0     	A Helm chart for k8s prometheus adapter           
stable/prometheus-blackbox-exporter  	3.0.0        	0.15.1     	Prometheus Blackbox Exporter                      
stable/prometheus-cloudwatch-exporter	0.6.0        	0.6.0      	A Helm chart for prometheus cloudwatch-exporter   
stable/prometheus-consul-exporter    	0.1.4        	0.4.0      	A Helm chart for the Prometheus Consul Exporter   
stable/prometheus-couchdb-exporter   	0.1.1        	1.0        	A Helm chart to export the metrics from couchdb...
stable/prometheus-mongodb-exporter   	2.4.0        	v0.10.0    	A Prometheus exporter for MongoDB metrics         
stable/prometheus-mysql-exporter     	0.5.2        	v0.11.0    	A Helm chart for prometheus mysql exporter with...
stable/prometheus-nats-exporter      	2.3.0        	0.6.0      	A Helm chart for prometheus-nats-exporter         
stable/prometheus-node-exporter      	1.8.1        	0.18.1     	A Helm chart for prometheus node-exporter         
stable/prometheus-operator           	8.5.14       	0.34.0     	Provides easy monitoring definitions for Kubern...
stable/prometheus-postgres-exporter  	1.2.0        	0.8.0      	A Helm chart for prometheus postgres-exporter     
stable/prometheus-pushgateway        	1.2.13       	1.0.1      	A Helm chart for prometheus pushgateway           
stable/prometheus-rabbitmq-exporter  	0.5.5        	v0.29.0    	Rabbitmq metrics exporter for prometheus          
stable/prometheus-redis-exporter     	3.2.1        	1.0.4      	Prometheus exporter for Redis metrics             
stable/prometheus-snmp-exporter      	0.0.4        	0.14.0     	Prometheus SNMP Exporter                          
stable/prometheus-to-sd              	0.3.0        	0.5.2      	Scrape metrics stored in prometheus format and ...
stable/elasticsearch-exporter        	2.2.0        	1.1.0      	Elasticsearch stats exporter for Prometheus       
stable/helm-exporter                 	0.3.2        	0.4.0      	Exports helm release stats to prometheus          
stable/karma                         	1.4.0        	v0.50      	A Helm chart for Karma - an UI for Prometheus A...
stable/stackdriver-exporter          	1.2.2        	0.6.0      	Stackdriver exporter for Prometheus               
stable/weave-cloud                   	0.3.7        	1.4.0      	Weave Cloud is a add-on to Kubernetes which pro...
stable/kube-state-metrics            	2.6.3        	1.9.3      	Install kube-state-metrics to generate and expo...
stable/kuberhealthy                  	1.2.6        	v1.0.2     	The official Helm chart for Kuberhealthy.         
stable/mariadb                       	7.3.6        	10.3.21    	Fast, reliable, scalable, and easy to use open-...

次に prometheus用の名前空間(namespae)を作成する

kubectl create namespace prometheus

Helmチャートからパラメータを取得して編集するために、ディレクトリを作成して移動する。

mkdir prometheus
cd prometheus/

パラメータをファイルに取り出し編集する。

helm inspect values stable/prometheus > prometheus-values.yaml

編集内容は、ストレージクラスに、ROOK Cephを設定　storageClass: "rook-ceph-block"　と pushgateway を無効にする。
パラメーターのYAMLの編集が終わったら、プロメテウスをデプロイする。

helm install prometheus --namespace prometheus -f prometheus-values.yaml stable/prometheus

以下は実行例で、プロメテウスのUIにアクセスする為の情報が表示される。

tkr@luigi:~/sandbox-rook/prometheus$ helm install prometheus --namespace prometheus -f prometheus-values.yaml stable/prometheus
NAME: prometheus
LAST DEPLOYED: Sat Jan 25 13:23:37 2020
NAMESPACE: prometheus
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
The Prometheus server can be accessed via port 80 on the following DNS name from within your cluster:
prometheus-server.prometheus.svc.cluster.local


Get the Prometheus server URL by running these commands in the same shell:
  export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=prometheus,component=server" -o jsonpath="{.items[0].metadata.name}")
  kubectl --namespace prometheus port-forward $POD_NAME 9090


The Prometheus alertmanager can be accessed via port 80 on the following DNS name from within your cluster:
prometheus-alertmanager.prometheus.svc.cluster.local


Get the Alertmanager URL by running these commands in the same shell:
  export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=prometheus,component=alertmanager" -o jsonpath="{.items[0].metadata.name}")
  kubectl --namespace prometheus port-forward $POD_NAME 9093
#################################################################################
######   WARNING: Pod Security Policy has been moved to a global property.  #####
######            use .Values.podSecurityPolicy.enabled with pod-based      #####
######            annotations                                               #####
######            (e.g. .Values.nodeExporter.podSecurityPolicy.annotations) #####
#################################################################################

For more information on running Prometheus, visit:
https://prometheus.io/

起動完了の確認

ポッドの起動状態を確認する。以下のポッドが Running の状態になっていれば成功とみなして良い。

kubectl get po -n prometheus
NAME                                             READY   STATUS    RESTARTS   AGE
prometheus-alertmanager-84bbc87464-vpcs7         2/2     Running   0          3m27s
prometheus-kube-state-metrics-59bb448977-h5tz4   1/1     Running   0          3m27s
prometheus-node-exporter-7s8qk                   1/1     Running   0          3m27s
prometheus-node-exporter-npnjr                   1/1     Running   0          3m27s
prometheus-node-exporter-qwmpr                   1/1     Running   0          3m27s
prometheus-server-c9977fd86-z7dk7                2/2     Running   0          3m27s

次にサービスをリストしておく。

kubectl get svc -n prometheus
NAME                            TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)         AGE
prometheus-alertmanager         ClusterIP   10.32.0.181   <none>        80/TCP          3m33s
prometheus-kube-state-metrics   ClusterIP   None          <none>        80/TCP,81/TCP   3m33s
prometheus-node-exporter        ClusterIP   None          <none>        9100/TCP        3m33s
prometheus-server               ClusterIP   10.32.0.163   <none>        80/TCP          3m33s

公開先の追加

上記のClusterIPでは、外部のブラウザでアクセスできないので、サービスのタイプをNodePortに変更して、マスターノード経由でアクセスできるようにする。
変更するのは、prometheus-alertmanager と prometheus-server である。

kubectl edit svc -n prometheus prometheus-alertmanager

変更箇所は、32行目で type: NodePort へ変更する。

     20 spec:
     21   clusterIP: 10.32.0.11
     22   ports:
     23   - name: http
     24     port: 80
     25     protocol: TCP
     26     targetPort: 9093
     27   selector:
     28     app: prometheus
     29     component: alertmanager
     30     release: prometheus
     31   sessionAffinity: None
     32   type: NodePort

変更が有効になったこと、および、アサインされたポート番号を確認する。

kubectl get svc -n prometheus prometheus-alertmanager
NAME                            TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)         AGE
prometheus-alertmanager         NodePort    10.32.0.181   <none>        80:30218/TCP    6m12s

もう一つ、下記も同様に変更する。

kubectl edit svc -n prometheus prometheus-server

変更が有効になったこと、および、アサインされたポート番号を確認する。

kubectl get svc -n prometheus prometheus-server
NAME                            TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)         AGE
prometheus-server               NodePort    10.32.0.163   <none>        80:31255/TCP    6m58s

これで、プロメテウスの設定は完了である。

グラファナ(Grafana)のインストール

次に表示のアプリケーショングラファナも、Helmからインストールする。

helm search repo grafana
NAME          	CHART VERSION	APP VERSION	DESCRIPTION                                       
stable/grafana	4.4.0        	6.5.2      	The leading tool for querying and visualizing t...

helm inspect values stable/grafana > grafana-values.yaml

修正箇所はストレージクラスで次のように storageClassName: rook-ceph-block 修正する。
デプロイ後に表示されるパスワードの取得方法をロスすると、グラファナにログインできなくなるので、注意が必要だ。

helm install grafana --namespace prometheus -f grafana-values.yaml stable/grafana
NAME: grafana
LAST DEPLOYED: Sat Jan 25 13:37:11 2020
NAMESPACE: prometheus
STATUS: deployed
REVISION: 1
NOTES:
1. Get your 'admin' user password by running:

   kubectl get secret --namespace prometheus grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo

2. The Grafana server can be accessed via port 80 on the following DNS name from within your cluster:

   grafana.prometheus.svc.cluster.local

   Get the Grafana URL to visit by running these commands in the same shell:

     export POD_NAME=$(kubectl get pods --namespace prometheus -l "app=grafana,release=grafana" -o jsonpath="{.items[0].metadata.name}")
     kubectl --namespace prometheus port-forward $POD_NAME 3000

3. Login with the password from step 1 and the username: admin
#################################################################################
######   WARNING: Persistence is disabled!!! You will lose your data when   #####
######            the Grafana pod is terminated.                            #####
#################################################################################

これで二つの Helm インスタンスが実行されていることになる。

helm list --namespace prometheus
NAME      	NAMESPACE 	REVISION	UPDATED                                	STATUS  	CHART            	APP VERSION
grafana   	prometheus	1       	2020-01-25 13:37:11.709451488 +0900 JST	deployed	grafana-4.4.0    	6.5.2      
prometheus	prometheus	1       	2020-01-25 13:23:37.957212894 +0900 JST	deployed	prometheus-10.3.1	2.15.2

グラファナも前述同様に、サービスタイプを編集する。

kubectl get svc -n prometheus grafana
NAME      TYPE       CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
grafana   ClusterIP  10.32.0.110   <none>        80:31300/TCP   2m52s

変更箇所は、26行と31行である。

     19 spec:
     20   clusterIP: 10.32.0.110
     21   ports:
     22   - name: service
     23     port: 80
     24     protocol: TCP
     25     targetPort: 3000
     26     nodePort: 31300  <--- 追加
     27   selector:
     28     app: grafana
     29     release: grafana
     30   sessionAffinity: None
     31   type: NodePort    <--- 変更

これで、ノードのポート番号 31300 でアクセスできるようになった。

kubectl get svc -n prometheus grafana
NAME      TYPE       CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
grafana   NodePort   10.32.0.110   <none>        80:31300/TCP   2m52s

ログインする為のパスワードは、次のコマンドで取得できる。

kubectl get secret --namespace prometheus grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo

マスターノードのVMホストのIPアドレス 192.168.1.91 に NodePortを開いているので、http://192.168.1.91:31300/ でグラファナのログイン画面が表示される。
ユーザー admin と上記で得られたパスワードでログインすることができる。

次の初期画面で、Add data sourcesをクリックして、プロメテウスを選択する。

HTTP URLに、プロメテウスのサービスのDNS名をセットする。これは Helmでインストールした時の応答メッセージに表示されたURLである。

テスト結果でグリーンの表示があれば成功なので次へすすむ。画面上左端のグラファナアイコンの右隣のHOMEのアイコンをクリックすると次の画面が表示される。

画面の右下のFind dashboard on Grafana.com をクリックするとダッシュボードのカタログが表示される。そして、Import dashboard でカタログのID番号をインプットして、データソースを選択すると、設定なしで既成のダッシュボードを利用できる。

筆者がお勧めのダッシュボードのIDと名前を以下に挙げておく。ImportからIDを入れるだけでダッシュボード画面が表示されるので大変便利である。

11074 1 Node Exporter for Prometheus Dashboard English Version UPDATE 1102
10000 Cluster Monitoring for Kubernetes
8685 K8s Cluster Summary
1860 Node Exporter Full
7249 Kubernetes Cluster

次の画面が、ID番号 11074 のダッシュボードである。

ダッシュボードを作成したり、閾値を設定して、通知するなど多彩な機能があるので、再度、とりあげたい。

まとめ

オンプレミスの環境でも、K8sクラスタ+ROOKがあれば、大抵の永続ストレージの問題は解決され、快適な実行環境になるということだ。これによって、手軽にプロメテウスやグラファナなど監視ツールもデプロイできるようになる。アプリケーションが監視システムと同じクラスタ上に乗ることは、抵抗感もあるが、名前空間を分けてリソースの割り当てを厳格にする。または、付帯機能とアプリケーションの配置するノードを分けるなど、適切な措置を取れば、問題もないと推定される。