この文章は、WavefrontでHorizontal Pod Autoscaler シリーズの第二回目です。
シリーズ
第一回 ： 概要編
第二回 ： Wavefrontの情報からスケールする ← いまここ
第三回 ： サーバーレスもどきを実装する
始めに
概要にも記載したよう、この記事では、Wavefrontのメトリクスをもとに、HPAを実装する方法を紹介します。
今回はまずシンプルにCPUベースでのHPAを実装します。
前提知識
前提知識として、HPAとしてKuberenetesの利用できるAPIとしては３つあります。
-
metrics.k8s.io: Coreとよばれるメトリクスである、マニュアルにあるよう、CPUとMemoryの使用率を報告します。実際の収集方法はmetrics-serverもしくは Heapster経由で取得します。なお、それらはKubernetesのデフォルトで動いているわけではなく、別途起動しないといけないものです。 -
custom.metrics.k8s.io: 上とは別に外部データソースからメトリクスを収集してメトリクスに反映するものです。ここに一部実装可能なものが紹介されています。CNCF的にはPrometheusが推奨されています。 -
external.metrics.k8s.io: これも外部データソースからメトリクスですが、さらに自由度の高い定義ができるようになっています。
このうち、Wavefrontでは、2と3の方法をサポートしています。
2で使えるメトリクス一覧は以下の定義されています。
これが実際のどのWavefrontのメトリクスとマッピングされるかはあとで、触れます。
3の方法では、Annotationを使い好きなメトリクスをマッピングさせることもできます。
準備編
さて検証を始める前に以下が必要です。
- WavefrontのアカウントとAPIキー
- Kubernetes環境
- Helm(v3がおすすめ) cli
なお、Wavefrontのアカウントないよ、という場合ですが、Trialの申し込みをお勧めします。
もし、それも面倒な場合、非常に多くの制約をもちますが、サインアップ不要のFreemiumアカウントもあるにはあります。
現状WavafrontのFreemiumアカウントはSpring Boot経由でないと、作成ができないようになっています。最低限、ここで紹介したようにHelloWorldアプリを作成してください。作成すると~/.wavefront_freemiumにAPIキーが含まれます。
インストール
まずは、Wavefrontのコンポーネントをインストールします。
インストールするのは、以下の２つです。
- Wavefront Collector
- Wavefront HPA Adaptor
どちらでも使うので、以下のmyvalues.yamlを用意します。
XXXXには取得したWavefrontのアカウントとAPIキーを指定します。またClusterNameは判別しやすい任意の名前をつけてください。
clusterName: mhoshi-test
wavefront:
url: https://XXXXX.wavefront.com
token: XXXXXXXXXXXXXXX
さらに、HelmのRepositoryをダウンロードします。
helm repo add wavefront https://wavefronthq.github.io/helm/
helm repo update
Wavefront Collectorのインストール
以下の手順でインストールします。
kubectl create namespace wavefront
helm install -f myvalues.yaml wavefront wavefront/wavefront --namespace wavefront
Wavefront HPA Adapterのインストール
以下の手順でインストールします。
kubectl create namespace wavefront-adapter
helm install -f myvalues.yaml wavefront-adapter wavefront/wavefront-hpa-adapter --namespace wavefront-adapter
以上でインストールの完了です。
CPU情報でスケールしてみる
では、HPAを早速ためしてみます。
まず作業用のネームスペースを作成します。
kubectl create ns hpa
なんでもいいのでKubernetesのDeploymentを作成します。
筆者の場合は手っ取り早く以下で作ります。
kubectl create deployment --image=nginx hpa-pods -n hpa
次に、HPAの定義を作ります。
cat <<EOF | kubectl apply -n hpa -f -
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
name: example-hpa-custom-metrics
spec:
minReplicas: 1
maxReplicas: 5
metrics:
- type: Pods
pods:
metricName: cpu.usage_rate
targetAverageValue: 300m
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: hpa-pods
EOF
これは、最小１、最大5Podまでを定義したHPAです。
そして、targetAverageValue: 300mにあるよう、300millisecondのCPU使用率に落ち着くことを期待しています。
HPAができたことを確認します。なお、直後はTARGETSがunknownになっているかもしれないですが、これはメトリクスがまだWavefrontに届いていない場合で、すこしまてば、値が取得されます。
kubectl get hpa -n hpa
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
example-hpa-custom-metrics Deployment/hpa-pods <unknown>/300m 1 5 0 8s
しばらくすると、TARGETSに値が入るはずです。
kubectl get hpa -n hpa
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
example-hpa-custom-metrics Deployment/hpa-pods 0/300m 1 5 1 6m20s
CPU負荷をあげていきます。
手っ取り早い方法がContainerに入って、無限ループをつくってしまう方法です。
kubectl exec -it `kubectl get pods -l app=hpa-pods -n hpa -o name` -n hpa bash
Containerログイン後、以下のコマンドを実行します。以下のコマンドは何もしない無限ループを１つ作ります。理論的には、このコマンドによって１つのvCPU使用率を100%にします。
while true ; do : ; done &
WavefrontのUIを開きます。
Metrics Viewerを開いて、以下の式を入力します。ClusterNameはそれぞれ指定したものを記載してください。
ts("kubernetes.pod.cpu.usage_rate", pod_name="hpa-*" and namespace_name="hpa")
これは、namepsace名hpaのpod名hpa-*の全てのCPU使用率を算出しています。
すると以下のようにCPU使用率があがっていることがわかります。
現在設定上はCPU使用率300mを超えた場合で、スケリーングを開始するようにしています。
しばらく放置すると、pod数が5に変動します。
% kubectl get hpa -n hpa
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
example-hpa-custom-metrics Deployment/hpa-pods 219200m/300m 1 5 5 19m
% kubectl get po -n hpa
NAME READY STATUS RESTARTS AGE
hpa-pods-8d86f4dc5-2xn52 1/1 Running 0 8m46s
hpa-pods-8d86f4dc5-7wnpw 1/1 Running 0 8m46s
hpa-pods-8d86f4dc5-qbdn9 1/1 Running 0 7m12s
hpa-pods-8d86f4dc5-r55hb 1/1 Running 0 8m46s
hpa-pods-8d86f4dc5-wgc8g 1/1 Running 0 20m
また、CPUをぶん回したPodを止めるには以下を実行します。
kubectl delete po hpa-pods-8d86f4dc5-wgc8g -n hpa
しばらくすると、Podがまた1で落ち着きます。
kubectl get hpa -n hpa
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
example-hpa-custom-metrics Deployment/hpa-pods 0/300m 1 5 1 35m
どうやってメトリクスは計算されている?
これについては、コードがみるのが早いです。
まず、WavefrontへのQueryを担っているのが以下の部分です。
この中でCodeのコメントアウト行にもコメントされていますが、HPAの定義をもとに以下に変換されます。
// if Prefix=kubernetes, metric='cpu.usage_rate', resType='pod', namespace='default' and names=['pod1', 'pod2']
// ts(kubernetes.pod.cpu.usage_rate, (pod_name="pod1" or pod_name="pod2") and (namespace_name="default"))
query := fmt.Sprintf("ts(%s.%s.%s%s)", t.prefix, resType, metric, filters)
つまり、HPAを以下のように定義した場合、
spec:
...
metrics:
- type: Pods
pods:
metricName: cpu.usage_rate
targetAverageValue: 300m
Wavefrontへは<prefix>.<type>.<metricName>のメトリクスを探しにいきます。
この場合
-
<prefix>は起動オプションでkubernetesがデフォルト -
<type>はHPAの定義のtype: Podsからpodに変換 -
<metricName>はHPA定義のmetricName: cpu.usage_rateからcpu.usage_rate
つまり、kubernetes.pod.cpu.usage_rateを参照し、pod名やNamespaceを絞り込んでいくようになっています。
より標準の実装方法は、こちらにも詳しく記載されています。
まとめ
- Wavefrontでは、
custom.metrics.k8s.ioとexternal.metrics.k8s.ioをつかってHPAができる -
custom.metrics.k8s.ioで使える一覧はhttps://github.com/wavefrontHQ/wavefront-kubernetes-adapter/blob/master/docs/metrics.mdにある -
custom.metrics.k8s.ioでは、定義してHPAの情報を解釈してWavefrontへのメトリクスに変換して問い合わせる
この回では、Wavefrontの統計にやってくるCPU情報をもとにHPAを実装しました。
次回の「サーバーレスもどきを実装する」ではより突飛なメトリクスを元にHPAを実装してみます。