More than 3 years have passed since last update.

Kubernetes 1.18 で kubectl alpha debug を使って Pod をデバッグする

kubernetes

Last updated at 2020-04-03Posted at 2020-04-03

はじめに

この記事は、先日リリースされた Kubernetes 1.18 ¹ でエフェメラルコンテナ関連機能の実装がほぼ完了して、デバッグ目的のエフェメラルコンテナ ² を作成する kubectl alpha debug コマンドが追加されたということで、これらを使って Pod をデバッグするまでの流れをまとめたものとなります。

エフェメラルコンテナ? kubectl debug コマンドってそもそもなんだ? となった方は Kubernetes 1.18: SIG-CLI の変更内容で詳細に解説されていますので、まずはそちらを一読するのが良いかと思います。

それでは実際にやっていきます。

エフェメラルコンテナ機能を有効にしたクラスタ作成

Feature Gates で EphemeralContainers を指定してエフェメラルコンテナ機能を有効にして Kubernetes 1.18 クラスタを作成します。

minikube start --kubernetes-version=v1.18.0 --feature-gates=EphemeralContainers=true

kubectl のバージョンが 1.18 未満では kubectl alpha debug がサポートされていないので、以下のように 1.18 にバージョンアップしておくことも忘れずに。

$ kubectl version --client -o yaml
clientVersion:
  buildDate: "2020-03-26T06:16:15Z"
  compiler: gc
  gitCommit: 9e991415386e4cf155a24b1da15becaa390438d8
  gitTreeState: clean
  gitVersion: v1.18.0
  goVersion: go1.14
  major: "1"
  minor: "18"
  platform: darwin/amd64

検証用の Pod 作成

k8s.gcr.io/pause:3.1 ³ という scratch イメージ（中身が空のコンテナイメージで）がベースとなった、デバッグツールが無ければシェルさえも含まれていないイメージを使って検証用の Pod を作成します。1.16 時点でプロセス名前空間を共有するために必要だった shareProcessNamespace: true は 1.18 での機能追加により指定不要となっています。

cat << EOF | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: config
data:
  demo.conf: demo
---
apiVersion: v1
kind: Pod
metadata:
  name: ephemeral-demo
spec:
  containers:
  - name: ephemeral-demo-container
    image: k8s.gcr.io/pause:3.1
    env:
    - name: DEMO
      value: demo
    volumeMounts:
    - name: config
      mountPath: /config
  volumes:
  - name: config
    configMap:
      name: config
EOF

Pod が作成された後で kubectl exec でシェルさえ起動できない状態であることを確認します。これでは Pod 内で何かしらの問題が起きたときにトラブルシューティングを実施できません。

$ kubectl get pods
NAME             READY   STATUS    RESTARTS   AGE
ephemeral-demo   1/1     Running   0          22s

$ kubectl exec -it ephemeral-demo -- sh
OCI runtime exec failed: exec failed: container_linux.go:349: starting container process caused "exec: \"sh\": executable file not found in $PATH": unknown
command terminated with exit code 126

kubectl alpha debug でのデバッグ

kubectl alpha debug を実行するとエフェメラルコンテナが作成されて Pod にアタッチされます。-it が指定されているとシェルが起動する仕様です。実行時には --image でエフェメラルコンテナのイメージを --container でエフェメラルコンテナ名を --target でプロセス名前空間を共有するコンテナを指定することができます。

$ kubectl alpha debug -it ephemeral-demo --image=busybox --container=debugger --target=ephemeral-demo-container
If you don't see a command prompt, try pressing enter.
/ #

プロセス名前空間を共有しているのでエフェメラルコンテナに含まれる ps コマンドで ephemeral-demo-container コンテナ内で実行されている /pause プロセスを確認できました。

/ # ps --help 2>&1 | head -n 1
BusyBox v1.31.1 (2020-03-09 21:47:38 UTC) multi-call binary.

/ # ps -ef
PID   USER     TIME  COMMAND
    1 root      0:00 /pause
    6 root      0:00 sh
   11 root      0:00 ps -ef

エフェメラルコンテナに含まれるデバッグツールで ephemeral-demo-container コンテナに対して様々なオペレーションが行えることが確認できました。トラブルシューティングで実施したい作業に合わせてイメージを指定すると良いと思います。

/ # netstat
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State
Active UNIX domain sockets (w/o servers)
Proto RefCnt Flags       Type       State         I-Node Path

/ # nslookup google.com
Server:		10.96.0.10
Address:	10.96.0.10:53

Non-authoritative answer:
Name:	google.com
Address: 172.217.24.142

/proc/<PID>/root 直下を参照することで ephemeral-demo-container コンテナのファイルシステムにアクセスできることが確認できました。⁴

/ # ps -ef
PID   USER     TIME  COMMAND
    1 root      0:00 /pause
    6 root      0:00 sh
   11 root      0:00 ps -ef

/ # ls -l /proc/1/root/
total 740
drwxrwxrwx    3 root     root          4096 Apr  3 19:46 config
drwxr-xr-x    5 root     root           360 Apr  3 19:46 dev
drwxr-xr-x    2 root     root          4096 Apr  3 19:46 etc
-rwxr-xr-x    1 root     root        742472 Dec 20  2017 pause
dr-xr-xr-x  144 root     root             0 Apr  3 19:46 proc
dr-xr-xr-x   12 root     root             0 Apr  3 19:46 sys
drwxr-xr-x    3 root     root          4096 Apr  3 19:46 var

/ # cat /proc/1/root/config/demo.conf
demo

/proc/<PID>/environ 直下を参照することで ephemeral-demo-container コンテナの環境変数を参照できることが確認できました。

/ # cat -e /proc/1/environ | sed -e 's/\^@/\n/g'
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
HOSTNAME=ephemeral-demo
DEMO=demo
KUBERNETES_PORT_443_TCP_ADDR=10.96.0.1
KUBERNETES_SERVICE_HOST=10.96.0.1
KUBERNETES_SERVICE_PORT=443
KUBERNETES_SERVICE_PORT_HTTPS=443
KUBERNETES_PORT=tcp://10.96.0.1:443
KUBERNETES_PORT_443_TCP=tcp://10.96.0.1:443
KUBERNETES_PORT_443_TCP_PROTO=tcp
KUBERNETES_PORT_443_TCP_PORT=443

エフェメラルコンテナを抜けたあとで Pod マニフェストを確認してみると、エフェメラルコンテナ関連の Spec と Status が追加されていることが確認できます。

/ # exit
Session ended, resume using 'kubectl alpha attach ephemeral-demo -c debugger -i -t' command when the pod is running

$ kubectl get pods ephemeral-demo -o yaml
apiVersion: v1
kind: Pod
metadata:
  name: ephemeral-demo
  namespace: default
spec:
  ...
  ephemeralContainers:
  - image: busybox
    imagePullPolicy: IfNotPresent
    name: debugger
    resources: {}
    stdin: true
    targetContainerName: ephemeral-demo-container
    terminationMessagePolicy: File
    tty: true
  ...
status:
  ...
  ephemeralContainerStatuses:
  - containerID: docker://afc7f76a5ef59bdb514f081d045827eabde834b0c97a91d8e03233e40fa91ba6
    image: busybox:latest
    imageID: docker-pullable://busybox@sha256:b26cd013274a657b86e706210ddd5cc1f82f50155791199d29b9e86e935ce135
    lastState: {}
    name: debugger
    ready: false
    restartCount: 0
    state:
      terminated:
        containerID: docker://afc7f76a5ef59bdb514f081d045827eabde834b0c97a91d8e03233e40fa91ba6
        exitCode: 0
        finishedAt: "2020-04-03T19:47:56Z"
        reason: Completed
        startedAt: "2020-04-03T19:46:48Z"
...

最後に Pod でエラーが発生して起動していない状態で kubectl alpha debug を実行するとどうなるか見ていきます。以下のマニフェストを適用して、crash コマンドが存在しないことによりエラーとなる Pod を作成します。

cat << EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: ephemeral-crash-demo
spec:
  containers:
  - name: ephemeral-crash-demo-container
    image: k8s.gcr.io/pause:3.1
    command:
    - "crash"
EOF

エラーになっていることを確認して kubectl alpha debug を実行すると、--target で指定した ephemeral-crash-demo-container コンテナに接続できずに出力が何も得られないまま無言状態となります。

$ kubectl get pods
NAME                   READY   STATUS             RESTARTS   AGE
ephemeral-crash-demo   0/1     CrashLoopBackOff   1          25s

$ kubectl alpha debug -it ephemeral-crash-demo --image=busybox --container=debugger --target=ephemeral-crash-demo-container

ephemeral-crash-demo-container コンテナが起動していないのでデバッグできないのは当たり前ですが、--target なしにすることで Pod のネットワークをデバッグすることは可能になっております。具体的なケースがパッと浮かんではきませんが、これでなにかしらトラブルシューティングは行えるかもしれません。

$ kubectl alpha debug -it ephemeral-crash-demo --image=busybox --container=no-taret-debugger
If you don't see a command prompt, try pressing enter.
/ # ps -ef
PID   USER     TIME  COMMAND
    1 root      0:00 sh
    6 root      0:00 ps -ef

以上が kubectl alpha debug でのデバッグの流れとなります。

さいごに

ここまでで Kubernetes 1.18 で kubectl alpha debug を使って Pod をデバッグする流れをまとめてみました。alpha 機能なので本番環境での使用は出来ませんが非常に便利そうなので、minikube や kind などの開発用途のクラスタで活用していこうかと思います

参考資料

おまけ: 今後改善されると良いなと思ったところ

現時点で alpha なので今後改善されていくであろうという前提で書き留めておきます。

その1: 作成済みのエフェメラルコンテナに再アタッチすることができない

エフェメラルコンテナから抜ける際にサジェストされる kubectl alpha attach コマンドが現時点でサポートされておらず、作成済みのエフェメラルコンテナに再アタッチすることができない。

$ kubectl alpha debug -it ephemeral-demo --image=busybox --container=debugger --target=ephemeral-demo-container

If you don't see a command prompt, try pressing enter.
/ # exit
Session ended, resume using 'kubectl alpha attach ephemeral-demo -c debugger -i -t' command when the pod is running

$ kubectl alpha attach ephemeral-demo -c debugger -i -t
Error: unknown shorthand flag: 'c' in -c
See 'kubectl alpha --help' for usage.

同じコマンドを再実行するとエフェメラルコンテナ名が重複していると怒られるので、--container の値を変更して新たにエフェメラルコンテナを作成することは可能な状態であることは把握した。

$ kubectl alpha debug -it ephemeral-demo --image=busybox --container=debugger --target=ephemeral-demo-container
error: error updating ephemeral containers: Pod "ephemeral-demo" is invalid: spec.ephemeralContainers[1].name: Duplicate value: "debugger"

$ kubectl alpha debug -it ephemeral-demo --image=busybox --container=new-debugger --target=ephemeral-demo-container
If you don't see a command prompt, try pressing enter.
/ #

その2: エフェメラルコンテナ名なしは便利だが Pod マニフェストが肥大化する

--container が指定されていない場合にはエフェメラルコンテナ名が自動生成されるので、その1 のようなオペレーションが不要になるので手間が掛からない。

$ kubectl alpha debug -it ephemeral-demo --image=busybox --target=ephemeral-demo-container

Defaulting debug container name to debugger-xsztc.
If you don't see a command prompt, try pressing enter.
/ # Session ended, resume using 'kubectl alpha attach ephemeral-demo -c debugger-xsztc -i -t' command when the pod is running

$ kubectl alpha debug -it ephemeral-demo --image=busybox --target=ephemeral-demo-container

Defaulting debug container name to debugger-s5p2h.
If you don't see a command prompt, try pressing enter.
/ # Session ended, resume using 'kubectl alpha attach ephemeral-demo -c debugger-s5p2h -i -t' command when the pod is running

$ kubectl alpha debug -it ephemeral-demo --image=busybox --target=ephemeral-demo-container

Defaulting debug container name to debugger-z9gbv.
If you don't see a command prompt, try pressing enter.
/ # Session ended, resume using 'kubectl alpha attach ephemeral-demo -c debugger-z9gbv -i -t' command when the pod is running

ただし、Pod マニフェストに実行数分のエフェメラルコンテナ関連の Spec. Status が追加されるので Pod マニフェストが肥大化していきます。Pod マニフェストの肥大化が Kubernetes クラスタにどのような影響を及ぼすのかはわかりませんが良くはないような気がしています。

$ kubectl get pods ephemeral-demo -o yaml
apiVersion: v1
kind: Pod
metadata:
  ...
  name: ephemeral-demo
  namespace: default
  ...
spec:
  ...
  ephemeralContainers:
  - image: busybox
    name: debugger-xsztc
    ...
  - image: busybox
    name: debugger-s5p2h
    ...
  - image: busybox
    name: debugger-z9gbv
    ...
  ...
status:
  ephemeralContainerStatuses:
  - containerID: docker://aa66c73b8811367fdef8c440dff5606f91e3dfe7a05424754cbc463705df1d40
    image: busybox:latest
    imageID: docker-pullable://busybox@sha256:b26cd013274a657b86e706210ddd5cc1f82f50155791199d29b9e86e935ce135
    name: debugger-s5p2h
    ...
  - containerID: docker://1d7223f454e1439fa61a5e81da855160aa67fc0e49d19b8af446e9a3921a4f26
    image: busybox:latest
    imageID: docker-pullable://busybox@sha256:b26cd013274a657b86e706210ddd5cc1f82f50155791199d29b9e86e935ce135
    name: debugger-xsztc
    ...
  - containerID: docker://9c95e166c151f5f7113843680d6afb6d03eb70dfec5c81c5d2179f2610eca899
    image: busybox:latest
    imageID: docker-pullable://busybox@sha256:b26cd013274a657b86e706210ddd5cc1f82f50155791199d29b9e86e935ce135
    name: debugger-z9gbv
    ...

https://github.com/kubernetes/kubernetes/releases/tag/v1.18.0 ↩
https://kubernetes.io/docs/concepts/workloads/pods/ephemeral-containers/ ↩
https://github.com/kubernetes/kubernetes/blob/v1.18.0/build/pause/Dockerfile ↩
OS に詳しくないので正確な情報はわかりませんが /proc/<PID> 配下のファイルを使用したオペレーションはエフェメラルコンテナのディストリビューションによって仕様が異なるかと思います。 ↩

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up