Help us understand the problem. What is going on with this article?

Dockerのログ収集方法の調査

すべてのログは標準出力・標準エラー出力に出力

・Dockerのlogging driver
 ・ログの集約がしづらい
 ・Fluentdに転送設定
  コンテナ起動時に既にFluentdが死んでいる場合、コンテナが起動できない
 など。詳細は以下のサイトを参照
  Dockerコンテナ上のログ集約に関するまとめ
  Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd)

対象のログ

リアルタイムに出力されるログが対象

 ・Fluentd / fluentd-ui
 ・FluentBit
 ・Filebeat
 ・Logstash

既にあるログが対象

 ・Embulk

Fluentdのバッチ版Embulk(エンバルク)のまとめ
Docker-composeを使ってEmbulk,Elasticsearch,Kibana環境を構築する
Apacheのアクセスログを、EmbulkでElasticsearchに叩き込む

ログを集めてGrafana Lokiに保存してGrafanaで見る

ログ収集するエージェントとしては、以下の事例あり
 promtail
 Fluentd
 FluentBit

公式サイト
GitHub

fluent-plugin-grafana-loki を再度試した
fluent-plugin-grafana-loki
Dockerコンテナ環境でFluentdを使ってGrafana Lokiにログを送信してみた
Grafana Lokiがメジャーリリースされたのでログ収集からダッシュボード化まで試してみた
Lokiで収集したログをGrafanaで見るハンズオン
次世代のログ基盤 Grafana Lokiを始めよう!
DockerコンテナのロギングにGrafana+Lokiを試してみた
Grafana LokiをMinikubeで試す
Prometheus likeなログ収集、Grafana Loki
Lokiとpromtailことはじめ
Fluent BitからGrafana Lokiに転送するには
Helmを使ってGrafana Lokiを試してみる
Grafana Logging using Loki
Grafana Lokiを使ったKubelet Logging入門

Grafanaのアラート通知機能

https://grafana.com/grafana/dashboards

Alerting Engine and Rules Guide
Metrics from the alert engine
Alert Notifications
DingDing
Discord
Email
Google Hangouts Chat
Hipchat
Kafka
Line
Microsoft Teams
OpsGenie
Pagerduty
Prometheus Alertmanager
Pushover
Sensu
Slack
Squadcast
Telegram
Threema
VictorOps
Webhook
Creating alert that can send SNMP Trap as a notification

That is not supported right now

Email
Grafanaでアラート時通知を設定する
Grafana Eメール通知設定
Grafanaのメール設定で詰まった話
Grafana でメール通知

Slack
BLE経由で取得したデータの 可視化(Grafana) & アラート通知(Slack) を実施
Grafana で Elasticserch に蓄積したサーバーメトリクスの可視化+アラートのSlack通知環境を構築してみた (ニフクラ)
Prometheus+Grafanaでパフォーマンス監視をしています

Discord
Grafana5.2.0+でElasticsearch内のデータに対するAlertingを実行し、Discordに通知する

Teams
Prometheusのすすめ - Grafana で AlertをTeamsに通知するのは簡単です

webhook
Prometheus2とGrafana6によるシステム監視 GrafanaのAlertを使う

ログを集めてElasticsearchに保存してKibanaで見る

Elasticsearchで日本語全文検索

デフォルトの状態だと対応していない日本語の形態素解析ライブラリを入れる必要あり

Elasticsearchのための新しい形態素解析器 「Sudachi」
Elasticsearch に kuromoji を入れて日本語全文検索をする
Elasticsearch 7.2.0 + Kuromoji + Kibana + docker-compose インストールメモ
docker上で Filebeat nginx Module を使って nginxのlogをKibanaで表示させた

その他に、「ICU(International Components for Unicodeの略)」(Unicodeの国際化サポートをしてくれるライブラリ)をインストールするか検討する

Elasticsearchを日本語で使う設定のまとめ

個人的には、方法3がおすすめ

方法1、Fluentd(または FluentBit) + Elasticsearch + Kibana

 FluentdをDockerコンテナで動かす場合で、
 Fluentdのプラグインを使いたい場合、
 プラグインをインストールしてDockerイメージを作る必要あり。
 ElastcsearchのプラグインをインストールしてDockerイメージを
 作る例は、fluent/fluentdを参照。
 
 dockerでfluentdを動かすときはudpも意識しましょう
 あんまり知られてない機能について
 td-agent(fluentd) の monitor_agent で取得出来る情報を Graphite + Grafana で見る試み
 Fluent-plugin-elasticsearch v2.8.0対応でわかったElasticsearch 6.0以降の動向
 fluentdのnginxアクセスログ取得をdockerで試す
 Docker初心者が、Nginxのログを fluentd + elasticsearch + kibana で可視化してみた

 fluentd-uiでdockerコンテナのpache2のログを収集コンテナに転送する方法
 fluentd-uiを起動してみた

 fluent/fluent-bit
 IoTや組み込み向けのデータコレクタ、FluentBitについて
 Fluent Bitを試してみる。
 貧者の GKE / FluentBit でログ収集
 FluentBitのGolang製のプラグインのDockerfileを作った話
 Amazon Linux で Fluent Bit を動かしてみた
 Docker Logging with Fluent Bit and Elasticsearch

方法2、Filebeat + (Logstash) + Elasticsearch + Kibana

 Logstashを採用するかFilebeatだけで対応可能かは動作確認して問題ないか確認して決める必要がある

 Filebeat - Modules
 docker上で Filebeat nginx Module を使って nginxのlogをKibanaで表示させた
 dockerでElasticsearch+logstash+kibanaを立ち上げる
 Filebeat にモジュール機能が追加され、ログ可視化が簡単になりました
 MySQLのlogを可視化する
 docker上で Filebeat nginx Module を使って nginxのlogをKibanaで表示させた
Filebeatの性能チューニングポイントまとめ

方法3、方法1と方法2の両方

検討例)
・FilebeatのFilebeat - Modulesで、Nginx、Redis、MySQLなどの情報を収集
→MySQLはエラーログとスロークエリーログのみ対応
→バグで収集できないパターンもあるのでGitHubのissueを確認すること
 例) Filebeat7.4のバグでMySQLのエラーログが収集されない。7.5で修正される。
   導入時期によって1つ前のバージョンにするか新しいバージョンが出てから
   再度検証か検討する
   Mysql filebeat module [mysql.error] no result found
   Mysql filebeat module [mysql.error] ingest pipeline issue #14076
→収集できているのにKibanaのDashboardで表示されない場合もある
 例) nginxのアクセスログ
   OS名かOSバージョンのどちらかしかない状態でグラフに表示されない
   (Filebeat 7.4.2。ブラウザはFirefoxで確認)
   →user_agent.os.nameのみが取得できている
    user_agent.os.versionが取得できてない
   ダッシュボードの設定では両方の値が取得できているもののグラフを表示
   取得できていれば表示される。バージョン取得のバグの可能性あり

 例) nginx(コンテナのタイムゾーンはAsia/Tokyo。アクセスログ/エラーログ)
  アクセスログの日付はKibanaで日本の日時で表示されるが、
  エラーログの日付はKibanaで+9時間の日時で表示された
  (Filebeat 7.4.2で確認)
  → Filebeatの設定に以下を追加することで解決。
   なお、コンテナのタイムゾーンを変更していない場合は問題は発生しません。

processors:
 - drop_fields.fields: ['event.timezone']
 - add_fields:
    target: event
    fields:
     timezone:  'Asia/Tokyo'

・Fluentdで、FilebeatのModuleがないログの収集
→ Fluentdを使わずにLogstashまたはFilebeat+Logstashを採用するパターンもある。

Elasticsearchのタイムゾーン問題

アラート通知

Elasticsearchのデータを基にアラート通知する方法の調査

OSS のログ管理システム Graylog

ログの収集
ログの検索
ダッシュボードの作成
ログを基にしたアラート通知

Graylog ではじめるログ管理
Dockerを使ってログ監視ツールである「graylog」構築する手順
Send Syslog Data to Graylog
fluentd-graylog
Bunyan JSON Logs with Fluentd and Graylog
Managing Logs with Graylog & Fluentd-2
Graylog で log を管理する

Dockerログのログローテート設定

Docker の出すログファイルでディスクが 100%になることを防ぐため、
max-size、max-fileは必ず設定する必要があります。
Configure the default logging driver

Dockerコンテナのログファイルをログローテート

Dockerコンテナ起動時にDockerコンテナのログディレクトリを
Dockerホストのディレクトリとマウントした場合

dockerコンテナ内のnginxにログを開き直させる方法(logrotate)
dockerコンテナ上のuwsgiとnginxのログローテート
DockerfileでNginxの起動とログのローテーションまで

参考URL

ログ収集ツールの比較
Elastic Stackにちょうど良いKafka パート1
apache-kafka – LogstashとKafkaの違い
ログ収集基盤のFluentdとFlume NG、どちらが使いやすい?

Beatsのdocker-composeの例や設定ファイル(yaml)は公式のGitHubを参照
elastic/beats
beats/deploy/docker/
beats/deploy/kubernetes/

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした