Kubernetesのmetrics-serverを構築する

#はじめに
Kubernetesのクラスタのリソースを取得するのにmetrics-serverが必要になる。
kubeadmでKubernetesをインストールすると、metrics-serverはインストールされないので、別途インストールする。
これをインストールすると、「kubectl top」コマンドが使用できるようになる。

Kubernetesのバージョンは以下。

$ kubectl version --short
Client Version: v1.17.3
Server Version: v1.17.3

#コードのダウンロード
ここ からmetrics-serverのコードをmasterノードにダウンロードする。

$ git clone https://github.com/kubernetes-sigs/metrics-server
Cloning into 'metrics-server'...
remote: Enumerating objects: 16, done.
remote: Counting objects: 100% (16/16), done.
remote: Compressing objects: 100% (16/16), done.
remote: Total 11718 (delta 1), reused 7 (delta 0), pack-reused 11702
Receiving objects: 100% (11718/11718), 12.34 MiB | 1.48 MiB/s, done.
Resolving deltas: 100% (6102/6102), done.

#デプロイ

READMEに沿ってデプロイする。

$ cd metrics-server/
$ kubectl create -f deploy/kubernetes/
clusterrole.rbac.authorization.k8s.io/system:aggregated-metrics-reader created
clusterrolebinding.rbac.authorization.k8s.io/metrics-server:system:auth-delegator created
rolebinding.rbac.authorization.k8s.io/metrics-server-auth-reader created
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created
serviceaccount/metrics-server created
deployment.apps/metrics-server created
service/metrics-server created
clusterrole.rbac.authorization.k8s.io/system:metrics-server created
clusterrolebinding.rbac.authorization.k8s.io/system:metrics-server created

Podがデプロイされていることを確認し、kubectl topコマンドの動作を確認する。

$ kubectl -n kube-system get pod | grep metric
metrics-server-5cc8d5c4df-cbwx5           1/1     Running   0          95s
$ kubectl top node
error: metrics not available yet

metricsの収集に時間がかかるので、少し待ってみたが「まだ使えない」状態が続く。

#調査と修正
とりあえず、Podの詳細を確認する。

$ kubectl -n kube-system describe pod metrics-server-5cc8d5c4df-cbwx5
・・・
Events:
  Type    Reason     Age    From                   Message
  ----    ------     ----   ----                   -------
  Normal  Scheduled  2m30s  default-scheduler      Successfully assigned kube-system/metrics-server-5cc8d5c4df-cbwx5 to k8s-worker02
  Normal  Pulled     2m28s  kubelet, k8s-worker02  Container image "k8s.gcr.io/metrics-server-amd64:v0.3.6" already present on machine
  Normal  Created    2m28s  kubelet, k8s-worker02  Created container metrics-server
  Normal  Started    2m27s  kubelet, k8s-worker02  Started container metrics-server

問題なさそう。
次にログを確認する。

$ kubectl -n kube-system logs metrics-server-5cc8d5c4df-cbwx5
I0303 12:34:22.007118       1 serving.go:312] Generated self-signed cert (/tmp/apiserver.crt, /tmp/apiserver.key)
I0303 12:34:22.811469       1 secure_serving.go:116] Serving securely on [::]:4443
E0303 12:35:23.086889       1 manager.go:111] unable to fully collect metrics: [unable to fully scrape metrics from source kubelet_summary:k8s-worker01: unable to fetch metrics from Kubelet k8s-worker01 (k8s-worker01): Get https://k8s-worker01:10250/stats/summary?only_cpu_and_memory=true: dial tcp: lookup k8s-worker01 on 10.96.0.10:53: no such host, unable to fully scrape metrics from source kubelet_summary:k8s-master: unable to fetch metrics from Kubelet k8s-master (k8s-master): Get https://k8s-master:10250/stats/summary?only_cpu_and_memory=true: dial tcp: lookup k8s-master on 10.96.0.10:53: no such host, unable to fully scrape metrics from source kubelet_summary:k8s-worker02: unable to fetch metrics from Kubelet k8s-worker02 (k8s-worker02): Get https://k8s-worker02:10250/stats/summary?only_cpu_and_memory=true: dial tcp: lookup k8s-worker02 on 10.96.0.10:53: no such host]
・・・・

このエラーが何度も出ている。どうもメトリクスの収集ができていないみたい。
調べてみると、以下の内容と同じらしい。Deploymentのyamlファイルに追記が必要らしい。

Metrics not available in Kubernetes 1.16 : kubectl top pods result in error #300

##yamlファイルの修正
metrics-server-deployment.yamlファイルに「command:」以下の4行を追記する。

deploy/kubernetes/metrics-server-deployment.yaml

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: metrics-server
  namespace: kube-system
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: metrics-server
  namespace: kube-system
  labels:
    k8s-app: metrics-server
spec:
  selector:
    matchLabels:
      k8s-app: metrics-server
  template:
    metadata:
      name: metrics-server
      labels:
        k8s-app: metrics-server
    spec:
      serviceAccountName: metrics-server
      volumes:
      # mount in tmp so we can safely use from-scratch images and/or read-only containers
      - name: tmp-dir
        emptyDir: {}
      containers:
      - name: metrics-server
        image: k8s.gcr.io/metrics-server-amd64:v0.3.6
        args:
          - --cert-dir=/tmp
          - --secure-port=4443
        ports:
        - name: main-port
          containerPort: 4443
          protocol: TCP
        securityContext:
          readOnlyRootFilesystem: true
          runAsNonRoot: true
          runAsUser: 1000
        imagePullPolicy: IfNotPresent
        command: #added
        - /metrics-server #added
        - --kubelet-insecure-tls #added
        - --kubelet-preferred-address-types=InternalIP #added
        volumeMounts:
        - name: tmp-dir
          mountPath: /tmp
      nodeSelector:
        beta.kubernetes.io/os: linux
        kubernetes.io/arch: "amd64"

##Podの再作成
修正したyamlファイルをapplyする。

$ kubectl apply -f deploy/kubernetes/metrics-server-deployment.yaml
serviceaccount/metrics-server unchanged
deployment.apps/metrics-server configured
$ kubectl -n kube-system get pod | grep metrics
metrics-server-fbc46dc5f-9k6kt            1/1     Running   0          33s

#動作確認
すぐに実行しても「まだ使えない」と言われるので、数分待ってから実行する。

$ kubectl top node
NAME           CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
k8s-master     396m         19%    1036Mi          37%
k8s-worker01   884m         44%    1762Mi          64%
k8s-worker02   686m         34%    1522Mi          55%
$ kubectl -n sock-shop top pods
NAME                            CPU(cores)   MEMORY(bytes)
carts-5fc45568c4-r4fqk          90m          298Mi
carts-db-64ff6c747f-vlghp       49m          143Mi
catalogue-69b7ff5bb4-pm988      15m          7Mi
catalogue-db-69cf48ff8-5sztl    12m          242Mi
front-end-6fc8dff6ff-4lxmn      281m         126Mi
orders-74c6b45f4f-42rns         50m          304Mi
orders-db-df75f545f-vvth6       11m          124Mi
payment-7f95f9f77-n5v7p         4m           6Mi
queue-master-85f5644bf5-pgdkt   18m          267Mi
rabbitmq-c7b9db6cc-bb5hn        11m          101Mi
session-db-67fd8d6d7-f2s96      8m           10Mi
shipping-745b9d8755-nvqng       45m          294Mi
user-559d7f794f-65sxs           46m          7Mi
user-db-87f548457-ldqvh         28m          37Mi

#まとめ
これでkubenetesクラスタのリソース確認ができるようになったので、オートスケールの動作確認時にリソースを確認しながら使ってみよう。

今回のエラーが環境に固有のものなのかはわからないので、宿題として覚えておこう。
宿題が増える。。。