はじめに

院試があってここ最近開発ができていなかったので、久しぶりの記事投稿になります。

今回は Kubernetes でいい感じにログを収集・可視化する仕組みを整えたので紹介していこうと思います。

やりたいこと

現状はログを確認するために毎回サーバーに SSH でログインして kubectl logs でログを確認しています。
しかしこの方法だと、

Pod が削除されるとログを確認できなくなる
細かいログ検索ができない

という問題があります。

そこで、

kubernetes の各 Pod の標準出力を収集し、Pod や Node が削除されてもログが保持され続けるようにする
サーバーに SSH で入らなくてもログを UI 上で確認できるようにする
無料のログ集積サービス・ログ解析ツールと連携する

ということをやっていきます。

技術選定

ログ周りで使う技術は大きく分けて以下の 3 つがあります。

ログ収集
ログ集積
ログ解析

ここではそれぞれで使うツールを選定していきます。

ログ収集

ログ収集のツールとして以下の 3 つを比較してみました。

Fluentd
Logstash
Apache Flume

	Fluentd	Logstash	Apache Flume
メリット	日本語の参考記事が多い・採用企業が多い	Fluentd よりシンプル
デメリット			メンテ頻度が微妙・設定が複雑

日本語記事の多さ・採用企業の多さから Fluentd を使うことにしました。

ログ解析

ログ解析のツールとして以下の 2 つを比較しました。

Loki
Kibana

	Loki	Kibana
メリット	メトリクス監視に使ってる Grafana にそのまま埋め込める	UI が使いやすい
デメリット

これに関しては、はじめは Kibana だけを使おうと思っていましたが、Grafana に埋め込めるという点が魅力的だったので、両方を使えるようにして、用途に応じて使い分けることにしました。

この記事では Kibana でログを確認する方法を紹介していこうと思います。

ログ集積

調べたところ、Elasticsearch や InfluxDB、Datadog などがよく使われるようでした。
今回はログ解析に Kibana を使うことを決めていたので、連携がしやすい Elasticsearch を使うことにしました。
(EFK スタックという言葉があるらしく、参考資料が豊富で良さそう)

実装

ES・Kibana

まずは ElasticSearch と Kibana を設定していきます。

Elastic Cloud on Kubernetes(ECK)というものがあるので、これを使います。

ECK を使うと、Kibana から Elastic Search へ接続するのに使う Secret が自動で作成されるので、便利です。

完成したコードはこちらから確認できます。

ポイントは以下の 2 つです。

Elastic Search で Volume サイズを明記

ES はデフォルトで 1GB のボリュームを確保しますが、1GB だとすぐに足りなくなってしまうため、あらかじめサイズを明記しておきます。

参考：https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-volume-claim-templates.html

volumeClaimTemplates:
  - metadata:
      name: elasticsearch-data # Do not change this name unless you set up a volume mount for the data path.
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 5Gi
      storageClassName: # Your storage class

Kibana で publicBaseUrl を設定

Kibana では、publicBaseUrl を指定しておかないと警告が出るので、設定しておきます。

config:
  server.publicBaseUrl: # Your Kibana Url

参考：

Fluentd

次に Fluentd を設定していきます。

Fluentd は Kubernetes 上で動かせる Daemonset が提供されているので、それを使います。

この中に、fluentd と Elastic Search を連携する例があるので、それを参考に設定していきます。

完成したコードはこちらから確認できます。

私は containerd を使っているため、fluentd の設定として以下の 2 つを追加しました。

dedot_filter.conf

label でkubernetes.labels.appのようなラベルが付与されるのですが、ES ではこのようなラベルだとエラーが生じていたため、de_dot の設定を追加しました。(参考：https://github.com/fluent/fluent-bit/issues/4386)

<filter kubernetes.**>
  @type             dedot
  de_dot            true
  de_dot_separator  _
  de_dot_nested     true
</filter>

tail_container_parse.conf

fluentd-kubernetes-daemonset ではデフォルトでログを JSON として処理するのですが、containerd では YYYY-MM-DD hh:mm:ss stdout F xxxxxの形式のログを出力するため、この形式のログを parse できるように設定します。(参考：https://github.com/fluent/fluentd-kubernetes-daemonset?tab=readme-ov-file#use-cri-parser-for-containerdcri-o-logs)

<parse>
  @type "regexp"
  expression /^(?<time>[^ ]+) (?<stream>stdout|stderr) (F|P) (?<log>.*)$/
</parse>

設定ファイルの追加方法はこちらから確認できます。

設定ファイルから ConfigMap を作成し、それを Volume として Pod にマウントします。

# kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
(略)
configMapGenerator:
  - name: config-volume
    files:
      - conf/tail_container_parse.conf
      - conf/dedot_filter.conf

# daemonset.yaml
apiVersion: apps/v1
kind: DaemonSet
(略)
spec:
  template:
    spec:
      containers:
        - name: fluentd
          (略)
          volumeMounts:
            - name: config-volume
              mountPath: /fluentd/etc/tail_container_parse.conf
              readOnly: true
              subPath: tail_container_parse.conf
            - name: config-volume
              mountPath: /fluentd/etc/conf.d/dedot_filter.conf
              readOnly: true
              subPath: dedot_filter.conf
              (略)
      volumes:
        - name: config-volume
          configMap:
            name: config-volume
        (略)

これで無事ログを Elastic Search に流すことができるようになります。

動作確認

Kibana に接続するための Ingress を作成し、URL にアクセスします。

ユーザー名は elastic、

パスワードは以下のコマンドで確認できます。(参考：https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-deploy-elasticsearch.html)

PASSWORD=$(kubectl get secret quickstart-es-elastic-user -o go-template='{{.data.elastic | base64decode}}')

Analytics > Discover の Date View から Create new view を選び、 index にlogstash-* を指定します。

これで fluentd から送られてくるログを閲覧できます。

まとめ

今回は Kubernetes の Pod で生じたログを収集・解析する方法を紹介しました。
fluentd の設定方法について学べて、いい勉強になりました。

次回は Alertmanager を使って、サービスに異常が生じた際 Slack に alert が流れる仕組みを作っていこうと思います。

参考資料