モダナイズされた環境でも、正しい設定・チューニングができていなければ意図した挙動は取ってくれません。テストは必要です。
カオスエンジニアリングは良い選択肢です。
今回はChaos EngineeringツールのGremlinをGKE上のリソースで動かす設定を紹介し、挙動を確認したいと思います。
設定手順
（下準備）対象コンテナアプリケーションの作成
不要な方はSkipください〜
クラスタの作成
まずは、クラスタを作成します。
アプリケーションもGremlinもこのクラスタにデプロイします。
% gcloud container clusters create test-cluster --region=us-east1 --num-nodes=2 --node-locations=us-east1-b
※ Auto PilotモードではGremlinをインストールできないようです。まぁ、Auto Pilotの目的から考えたら不要でしょうが、自分自身がよく考えないままエラーを出してしまったので共有。
Error: INSTALLATION FAILED: admission webhook "gkepolicy.common-webhooks.networking.gke.io" denied the request: GKE Policy Controller rejected the request because it violates one or more policies: {"[denied by autogke-default-linux-capabilities]":["linux capability 'NET_ADMIN,SYS_BOOT,SYS_TIME,SYS_ADMIN' on container 'gremlin' not allowed; Autopilot only allows the capabilities: 'AUDIT_WRITE,CHOWN,DAC_OVERRIDE,FOWNER,FSETID,KILL,MKNOD,NET_BIND_SERVICE,NET_RAW,SETFCAP,SETGID,SETPCAP,SETUID,SYS_CHROOT,SYS_PTRACE'. Requested by user: '<myaccount>', groups: 'system:authenticated'."],"[denied by autogke-no-write-mode-hostpath]":["hostPath volume gremlin-state in container gremlin is accessed in write mode; disallowed in Autopilot. Requested by user: '<myaccount>', groups: 'system:authenticated'.","hostPath volume gremlin-logs in container gremlin is accessed in write mode; disallowed in Autopilot. Requested by user: '<myaccount>', groups: 'system:authenticated'.","hostPath volume shutdown-trigger in container gremlin is accessed in write mode; disallowed in Autopilot. Requested by user: '<myaccount>', groups: 'system:authenticated'.","hostPath volume cgroup-root used in container gremlin uses path /sys/fs/cgroup which is not allowed in Autopilot. Allowed path prefixes for hostPath volumes are: [/var/log/]. Requested by user: '<myaccount>', groups: 'system:authenticated'.","hostPath volume docker-sock used in container gremlin uses path /var/run/docker.sock which is not allowed in Autopilot. Allowed path prefixes for hostPath volumes are: [/var/log/]. Requested by user: '<myaccount>', groups: 'system:authenticated'."]}
アプリケーションのデプロイ
適当なアプリをデプロイします。
Gremlinリソースと明示的に分離するため、ネームスペースを切っておきます。
% kubectl create ns app
% kubectl apply -f deploy/web/deployment.yaml
deploy/web/deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: web-nginx
namespace: app
spec:
replicas: 2
selector:
matchLabels:
app: web-nginx
template:
metadata:
labels:
app: web-nginx
spec:
containers:
- name: nginx
image: nginx:latest
ports:
- containerPort: 80
resources:
# CPUメトリクスをもとに水平スケールする
requests:
cpu: "200m"
ロードバランサーのデプロイ
アプリケーションをロードバランサーにぶら下げて公開します。
オートスケールの設定も入れておきます。
% kubectl expose deployment web-nginx --type=LoadBalancer --port=80 -n app
% kubectl apply -f deploy/web/hpa.yaml
deploy/web/hpa.yaml
apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
name: web-nginx
namespace: app
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: web-nginx
minReplicas: 2
maxReplicas: 4
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50
確認
意図したリソースが作られて、サイトにアクセスできることを確認しておきます。
% kubectl get all -n app
NAME READY STATUS RESTARTS AGE
pod/web-nginx-f67cbddc9-hlgf6 1/1 Running 0 19m
pod/web-nginx-f67cbddc9-v92kp 1/1 Running 0 19m
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/web-nginx LoadBalancer 10.103.129.132 34.148.117.109 80:31700/TCP 4m6s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/web-nginx 2/2 2 2 19m
NAME DESIRED CURRENT READY AGE
replicaset.apps/web-nginx-f67cbddc9 2 2 2 19m
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
horizontalpodautoscaler.autoscaling/web-nginx Deployment/web-nginx 0%/50% 2 4 2 46s
Gremlinのインストール
アカウント作成
https://app.gremlin.com/signup
アカウントを作成しましょう。作成時にチームを指定します。
アカウントが作成されると、Webコンソールにログインできます。
そこで、チームIDとシークレットを取得できます。
インストール
公式サイトを参考に、クラスタにGremlin環境をデプロイします。
helmチャートを提供してくれているので、簡単！
TEAM_IDとTEAM_SECRETはGremlinのコンソールにて取得、CLUSTER_IDはアプリケーションをデプロイしたGKEクラスタのIDを確認し、環境変数に設定しておきます。
また、
% kubectl create namespace gremlin
% GREMLIN_TEAM_ID="changeit"
% GREMLIN_CLUSTER_ID="changeit"
% GREMLIN_TEAM_SECRET="changeit"
% helm repo add gremlin https://helm.gremlin.com
% helm install gremlin gremlin/gremlin --namespace gremlin \
--set gremlin.hostPID=true \
--set gremlin.container.driver=containerd-runc \
--set gremlin.secret.managed=true \
--set gremlin.secret.type=secret \
--set gremlin.collect.processes=false \
--set gremlin.secret.teamID=$GREMLIN_TEAM_ID \
--set gremlin.secret.clusterID=$GREMLIN_CLUSTER_ID \
--set gremlin.secret.teamSecret=$GREMLIN_TEAM_SECRET \
--set gremlin.apparmor=unconfined
ここでの注意点はdriverです。
コンテナのランタイムを調べて、正しいものをチョイスしましょう！
% kubectl get nodes -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
gke-test-cluster-default-pool-dd94f255-4k7m Ready <none> 16m v1.22.10-gke.600 10.142.0.32 34.75.171.145 Container-Optimized OS from Google 5.10.109+ containerd://1.5.11
gke-test-cluster-default-pool-dd94f255-4z19 Ready <none> 16m v1.22.10-gke.600 10.142.0.31 34.75.49.214 Container-Optimized OS from Google 5.10.109+ containerd://1.5.11
＜2022/8/16現在＞
GKEについては、公式Helmチャートに問題があるようで、のちのAttack実行時に失敗してしまいます。何やら権限が足りてない模様。
- Podのログ
2022-08-15 05:13:01 [INFO] gremlind::exec::persist::active::controller::lib - Execution[ee65ec33-1c58-11ed-8e80-aa537820d197]: attack started
2022-08-15 05:13:11 [INFO] gremlind::exec::persist::active::controller::lib - Active[ee65ec33-1c58-11ed-8e80-aa537820d197]: Executing Gremlin rollback (pid=79452)
2022-08-15 05:13:11 [ERROR] gremlind::daemon - Active[ee65ec33-1c58-11ed-8e80-aa537820d197]: Gremlin command returned error : process: Gremlin execution failure:
Stderr=standard_init_linux.go:211: exec user process caused "permission denied"
time="2022-08-15T05:13:04Z" level=error msg="Failed to remove paths: map[blkio:/sys/fs/cgroup/blkio/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 cpu:/sys/fs/cgroup/cpu,cpuacct/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 cpuacct:/sys/fs/cgroup/cpu,cpuacct/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 cpuset:/sys/fs/cgroup/cpuset/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 devices:/sys/fs/cgroup/devices/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 freezer:/sys/fs/cgroup/freezer/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 hugetlb:/sys/fs/cgroup/hugetlb/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 memory:/sys/fs/cgroup/memory/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 name=systemd:/sys/fs/cgroup/systemd/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 net_cls:/sys/fs/cgroup/net_cls,net_prio/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 net_prio:/sys/fs/cgroup/net_cls,net_prio/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 perf_event:/sys/fs/cgroup/perf_event/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98 pids:/sys/fs/cgroup/pids/kubepods/burstable/pod9a6c0a3f-1e3f-435f-994b-af62a2395dee/b3df5ce1a99da9e013a190c4e9072db2f3ad92e57c5918697ee95f3862b8ca98]"
container failure: docker: non-zero exit (1)
Stdout=Gremlin did not exit normally: container failure: docker: non-zero exit (1)
Checking to see if Gremlin should clean up impact
Code=1 (pid=79452)
2022-08-15 05:13:11 [ERROR] gremlind::daemon - failed to load execution logs: /var/log/gremlin/executions/ee65ec33-1c58-11ed-8e80-aa537820d197/attack.log not found
2022-08-15 05:13:11 [INFO] gremlin_common::svc::executions - Updating Service for active executions
2022-08-15 05:13:11 [WARN] gremlind::daemon - Active[ee65ec33-1c58-11ed-8e80-aa537820d197]: Service reported execution complete, halting. (pid=79452)
2022-08-15 05:13:12 [WARN] gremlin_proc::imp - Tried to kill process (79452), but it was not found
- チェック結果抜粋
% kubectl exec --stdin --tty gremlin-d6hsl -n gremlin -- /bin/ash
/ # gremlin check files
files
====================================================
Data : /var/lib/gremlin: Expected permissions 750, found 755
Config : OK /etc/default/gremlind not found
Logs : /var/log/gremlin: Expected permissions 750, found 755
Execution Data : 0 attack records found on disk
Execution Logs : OK
Credential Files : OK
Docker : OK Docker socket not found
ログに記載のエラー（権限不足）と、チェック結果（権限過多）で違和感があるものの、ファイルアクセス権限が怪しい。
HelmチャートをローカルにDLして、以下の部分をコメントアウトしたものをlocalリポジトリに登録して使用することで対応しました。★動作保証なし
gremlin/templates/daemonset.yaml
volumeMounts:
# - name: gremlin-state
# mountPath: /var/lib/gremlin
# readOnly: false
# - name: gremlin-logs
# mountPath: /var/log/gremlin
# readOnly: false
- チェック結果抜粋
% kubectl exec --stdin --tty gremlin-d6hsl -n gremlin -- /bin/ash
/ # gremlin check files
files
====================================================
Data : OK
Config : OK /etc/default/gremlind not found
Logs : OK
Execution Data : 0 attack records found on disk
Execution Logs : OK
Credential Files : OK
Docker : OK Docker socket not found
＜参考＞Helmローカルリポジトリ利用手順
ローカルファイルでのservecmの情報があまりなさそうだったので、参考までに。
パスなどは適当にお好みで。
% cd ~/hoge/work/
% helm pull gremlin/gremlin
% tar -xvzf gremlin-0.4.8.tgz
% vi gremlin/templates/daemonset.yaml ＜前述の修正＞
% helm package gremlin
＜gremlin-0.4.8.tgzが更新される。Chart.yaml内のバージョンをインクリメントすることも考えたが、あくまで暫定対応のため。＞
% cd ~/hoge/local-helm/
% mv ~/hoge/work/gremlin-0.4.8.tgz ~/hoge/local-helm/charts
% helm servecm --port=8879 --storage local --storage-local-rootdir ./charts
- 別ターミナル
% helm repo add local http://127.0.0.1:8879/
% helm repo update
Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "local" chart repository
...Successfully got an update from the "gremlin" chart repository
...Successfully got an update from the "stable" chart repository
Update Complete. ⎈Happy Helming!⎈
% helm search repo local/
NAME CHART VERSION APP VERSION DESCRIPTION
local/gremlin 0.4.8 2.16.2 The Gremlin Inc client application
確認
Podの確認
GremlinのPodを確認しておきます。
% kubectl get all -n gremlin
NAME READY STATUS RESTARTS AGE
pod/chao-54b8c8d5f5-fvzzd 1/1 Running 0 163m
pod/gremlin-sqbf2 1/1 Running 0 60m
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/gremlin 1 1 1 1 1 <none> 163m
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/chao 1/1 1 1 163m
NAME DESIRED CURRENT READY AGE
replicaset.apps/chao-54b8c8d5f5 1 1 1 163m
Podの確認（エラー例）
こちらは、エラーの出力例です。
このとき、デフォルト設定のままGKEクラスタを作っていたため、各リージョンに３ノードづつ、合計９ノードが存在していました。Podのログを覗くと、「利用できる上限を超えているのでアップグレードしてね」というようなエラーメッセージが出ていました。
% kubectl get all -n gremlin
NAME READY STATUS RESTARTS AGE
pod/chao-54b8c8d5f5-gffnr 1/1 Running 0 6m1s
pod/gremlin-6ffsq 0/1 Error 6 (2m54s ago) 6m1s
pod/gremlin-f9c2q 0/1 Error 6 (2m52s ago) 6m1s
pod/gremlin-fn99g 1/1 Running 0 6m1s
pod/gremlin-l7pbw 0/1 CrashLoopBackOff 6 (18s ago) 6m1s
pod/gremlin-lfv9x 0/1 CrashLoopBackOff 5 (2m41s ago) 6m1s
pod/gremlin-nvptm 0/1 CrashLoopBackOff 5 (2m45s ago) 6m1s
pod/gremlin-qqzns 1/1 Running 0 6m1s
pod/gremlin-vt5p9 0/1 Error 6 (2m52s ago) 6m1s
pod/gremlin-xb6ct 0/1 CrashLoopBackOff 5 (2m47s ago) 6m1s
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/gremlin 9 9 2 9 2 <none> 6m2s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/chao 1/1 1 1 6m2s
NAME DESIRED CURRENT READY AGE
replicaset.apps/chao-54b8c8d5f5 1 1 1 6m2s
Gremlinコンソールの確認
Gremlinコンソールからも、クラスターが確認できました。
ここで、Kubernatesクラスタが認識できていなかったり、gremlinやkube-systemのネームスペースを認識できていない場合は、設定が誤っている可能性が高いです。
Gremlinの攻撃
いよいよ、暴れさせてみます。
Attackの実行
appのネームスペースを選択して、CPU負荷をかけてみます。
Gremlinを解き放つ！
＜平常時＞
＜CPU上昇＞
＜スケールアウト＞
Attackの結果が確認できます。
GKEのコンソールからも、Gremlinが暴れたタイミングで負荷の上昇が確認できました。
シナリオの実行
先程のAttackをもとにシナリオを作ります。
ステータス（影響）を確認するために、エンドポイントを指定しておきます。Datadogなどからメトリクスを指定することも可能です。
シナリオ実行。無事、成功が確認できました。
CPU負荷をかけてもスケールアウトされて影響なくURLアクセスが成功していることが確認できます。
一方、失敗するシナリオの例。
レイテンシを上げるAttackをかけているため、URLチェックの応答が規定時間内に得られずにNGになっています。
このように、サービスの指標となるメトリクスをステータスチェックにしておくことで、どういう障害がサービス影響につながるのかを確認することが可能です。
こちらは、シナリオ自体のNG例です。
CPU負荷を上げたあと、別のAttackをかけたところで失敗しています。
エラーメッセージを読むと、Pending状態のPodに攻撃していました。
Delayの値を見直すか、構成を見直して、適切なシナリオを組みましょう。
まとめ
今回は、GKEに対してGremlinで攻撃する基本的な設定を実施してみました。
少しインストールで手間取るところは出ましたが、インストールできさえすれば、UIは直感的で非常に使いやすいです。secretの設定も仕組み化されており、事故が起こりにくいユーザーフレンドリーなツールと思います。
おすすめシナリオも提供されており、そこまで事前知識はなくともスタートできると思いますので、是非、お試しください！
参考
- かなり親切な公式サイト。
https://www.gremlin.com/docs/ - このBlogを書くきっかけに。すごくまとまっている良記事（ただ、この手順だけじゃ動かない）。
https://medium.com/google-cloud/gremlin-chaos-engineering-on-google-cloud-2568f9fc70c9