はじめに
EKSに立てたPodのログは標準出力に吐き出すようにしてFluentdで収集するのが楽な方法です。
Worker Nodeのkubeletのログはjournalログであり次のコマンドで確認できます。
$ journalctl -u kubelet > kubelet.log
今回はEKS worker nodeのkubeletのログをFluentdで収集しCloudWatch Logsに集約させる方法を説明します。
環境情報
MacOS Mojave 10.14.6
EKS 1.16
Helm 3.4.0
Helmfile 0.122.0
前提
- EKSクラスタが構築されていること。
- kube2iamがデプロイされていること。
手順
Helmfileでfluentd-cloudwatchをデプロイします。
このHelm Chartで使用されるFluentdのDockerイメージにはfluent-plugin-systemdプラグインが同梱されているためjournalログを収集することができます。
Helmfileの設定ファイルは次のようになります。
helmfile.yaml
repositories:
- name: incubator
url: https://charts.helm.sh/incubator
releases:
- name: fluentd-cloudwatch
namespace: kube-system
chart: incubator/fluentd-cloudwatch
version: 0.13.0
values:
- podAnnotations:
iam.amazonaws.com/role: arn:aws:iam::XXXXXXXXXXXX:role/cloud-watch-logs-full-access-role
awsRegion: ap-northeast-1
rbac:
create: true
extraVars:
- "{ name: FLUENT_UID, value: '0' }"
data:
fluent.conf: |
<match fluent.**>
@type null
</match>
<source>
@type tail
enable_stat_watcher false
path /var/log/containers/*.log
pos_file /var/log/fluentd-containers.log.pos
time_format %Y-%m-%dT%H:%M:%S.%NZ
tag kubernetes.*
format json
read_from_head true
</source>
<source>
@type tail
enable_stat_watcher false
format /^(?<time>[^ ]* [^ ,]*)[^\[]*\[[^\]]*\]\[(?<severity>[^ \]]*) *\] (?<message>.*)$/
time_format %Y-%m-%d %H:%M:%S
path /var/log/salt/minion
pos_file /var/log/fluentd-salt.pos
tag salt
</source>
<source>
@type tail
enable_stat_watcher false
format syslog
path /var/log/startupscript.log
pos_file /var/log/fluentd-startupscript.log.pos
tag startupscript
</source>
<source>
@type tail
enable_stat_watcher false
format /^time="(?<time>[^)]*)" level=(?<severity>[^ ]*) msg="(?<message>[^"]*)"( err="(?<error>[^"]*)")?( statusCode=($<status_code>\d+))?/
path /var/log/docker.log
pos_file /var/log/fluentd-docker.log.pos
tag docker
</source>
<source>
@type tail
enable_stat_watcher false
format none
path /var/log/etcd.log
pos_file /var/log/fluentd-etcd.log.pos
tag etcd
</source>
<source>
@type tail
enable_stat_watcher false
format kubernetes
multiline_flush_interval 5s
path /var/log/kubelet.log
pos_file /var/log/fluentd-kubelet.log.pos
tag kubelet
</source>
<source>
@type tail
enable_stat_watcher false
format kubernetes
multiline_flush_interval 5s
path /var/log/kube-proxy.log
pos_file /var/log/fluentd-kube-proxy.log.pos
tag kube-proxy
</source>
<source>
@type tail
enable_stat_watcher false
format kubernetes
multiline_flush_interval 5s
path /var/log/kube-apiserver.log
pos_file /var/log/fluentd-kube-apiserver.log.pos
tag kube-apiserver
</source>
<source>
@type tail
enable_stat_watcher false
format kubernetes
multiline_flush_interval 5s
path /var/log/kube-controller-manager.log
pos_file /var/log/fluentd-kube-controller-manager.log.pos
tag kube-controller-manager
</source>
<source>
@type tail
enable_stat_watcher false
format kubernetes
multiline_flush_interval 5s
path /var/log/kube-scheduler.log
pos_file /var/log/fluentd-kube-scheduler.log.pos
tag kube-scheduler
</source>
<source>
@type tail
enable_stat_watcher false
format kubernetes
multiline_flush_interval 5s
path /var/log/rescheduler.log
pos_file /var/log/fluentd-rescheduler.log.pos
tag rescheduler
</source>
<source>
@type tail
enable_stat_watcher false
format kubernetes
multiline_flush_interval 5s
path /var/log/glbc.log
pos_file /var/log/fluentd-glbc.log.pos
tag glbc
</source>
<source>
@type tail
enable_stat_watcher false
format kubernetes
multiline_flush_interval 5s
path /var/log/cluster-autoscaler.log
pos_file /var/log/fluentd-cluster-autoscaler.log.pos
tag cluster-autoscaler
</source>
<source>
@type systemd
tag kubelet
path /var/log/journal
matches [{ "_SYSTEMD_UNIT": "kubelet.service" }]
read_from_head true
<storage>
@type local
path /var/log/fluentd-journald-kubelet-cursor.json
</storage>
<entry>
fields_strip_underscores true
fields_lowercase true
</entry>
</source>
<filter kubernetes.**>
@type kubernetes_metadata
</filter>
<match **>
@type cloudwatch_logs
log_group_name "#{ENV['LOG_GROUP_NAME']}"
auto_create_stream true
use_tag_as_stream true
</match>
valuesの内容について説明していきます。
Podに付与するIAM RoleのARNを記述します。CloudWatch LogsにフルアクセスできるRoleを付与しています。
podAnnotations:
iam.amazonaws.com/role: arn:aws:iam::XXXXXXXXXXXX:role/cloud-watch-logs-full-access-role
Fluentdの設定の中でkubeletログの収集は以下の部分になります。
data:
fluent.conf: |
<source>
@type systemd
tag kubelet
path /var/log/journal
matches [{ "_SYSTEMD_UNIT": "kubelet.service" }]
read_from_head true
<storage>
@type local
path /var/log/fluentd-journald-kubelet-cursor.json
</storage>
<entry>
fields_strip_underscores true
fields_lowercase true
</entry>
</source>
次のコマンドでデプロイします。
$ helmfile apply -f ./helmfile.yaml
確認
実際にCloudWatch Logsで確認していきます。
確かにkubeletのログが収集できていることが分かります。
まとめ
Fluentdを使用してEKS Worker Nodeのkubeletログを収集してCloudWatch Logsに集約できることを確認しました。
EBSのバーストバランスといったAWSリソースが原因で起こる不具合を調査するときにkubeletログが必要になることはあるので取れるものは取っておいたほうがいいです。
今回は触れていませんが、EKS Masterのログ収集についてはEKSクラスタ作成時にオプションで選択できます。