docker fluent memo

たぶんいろんな方がやっていると思いますが、Ubuntu16.04LTS+Docker+Fluentdを動かそうとしてます。それで、RasPi2からのNetFlowを受ける予定。

■メインどころの参考ページ
Fluentd の Docker イメージを動かした際のメモ
http://tatsuyafw.hatenablog.jp/entry/2016/08/30/000038
・とこれを組み合わせてやってみることに(5/4)
【Docker】FluentdとElasticsearchとKibanaの環境構築
http://qiita.com/narumi_/items/ec1c4cbbc65ec26b46f8

■事前作業
Dockerイメージとコンテナの削除方法
http://qiita.com/tifa2chan/items/e9aa408244687a63a0ae
Dockerの不要なボリュームを削除する
http://zashikiro.hateblo.jp/entry/2016/08/16/201633

Dockerfileにnetflowのpluginを記述する

Dockerfile

FROM fluent/fluentd
RUN fluent-gem install fluent-plugcin-netflow
RUN fluent-gem install fluent-plugin-elasticsearch

保存したら
sudo docker build -t custom-fluentd:latest ./
実行は
sudo docker run -d -p 24224:24224 -p 24224:24224/udp -v /home/fluentd/log:/fluentd/log -v /home/fluentd:/fluentd/etc -e FLUENTD_CONF=fluentd.conf custom-fluentd

fluent.confはこんな感じ

fluentd.conf

<source>
  type netflow
  tag netflow.event
  port 24224
</source>
# <match **>
#  @type stdout
# </match>
<match docker.**>
  @type file
  @id   output1
   path         /fluentd/log/dockerdata.*.log
   symlink_path /fluentd/log/dockerdata.log
   append       true
   time_slice_format %Y%m%d
   time_slice_wait   1m
   time_format       %Y%m%dT%H%M%S%z
</match>
<match netflow.event>
  @type file
   path         /fluentd/log/data.*.log
   symlink?path /fluentd/log/data.log
   append       true
</match>
# <match **>
#  type file
#  path /home/fluentd
# </match>

Dockerについて基本から最近追加された機能までまとめ
http://qiita.com/tigberd/items/b94ae2bf7d78685cd6f5

この辺から始め
・Dockerコンテナ(Ubuntu 16.04 xenial)へのtd-agentの導入
http://qiita.com/RyoMa_0923/items/8f6f5e2bffaafe0fbebc
・(古いけど)Dockerコンテナのロギング機能を使ってみる
http://knowledge.sakura.ad.jp/knowledge/6752/
・(非Docker)職場でよく耳にするfluentdを試してみました
http://qiita.com/mitzi2funk/items/8ef7e3c2707124adc739
・(非Docker)GrafanaによるNetFlow v9トラフィック分析
http://qiita.com/ishizaghi/items/b0ecd9fa50e503362165

・公式
http://docs.fluentd.org/v0.12/categories/installation
http://docs.fluentd.org/v0.12/articles/install-by-docker
・Netflowコレクターを無償のFluend＋ElasticSearch＋Kibanaで構築する
http://komeiy.hatenablog.com/entry/2014/09/26/212000
・Netflow plugin for Fluentd
https://github.com/repeatedly/fluent-plugin-netflow
http://blog.takanabe.tokyo/2015/12/24/2021/

Docker ドキュメント日本語化プロジェクト
http://docs.docker.jp
fluentd最低限のメモ
http://qiita.com/zaburo/items/dbd943d370afe8e4a304
docker-composeでfluentd + elasticsearch + kibana4　環境をつくるhttp://qiita.com/cgetc/items/345e3c686910b30ba49f
【Docker】FluentdとElasticsearchとKibanaの環境構築
http://qiita.com/narumi_/items/ec1c4cbbc65ec26b46f8
Dockerコンテナのロギング機能を使ってみる
http://knowledge.sakura.ad.jp/knowledge/6752/
Dockerコンテナのファイルディスクリプタ設定
http://qiita.com/kazunori279/items/5aedb6ed548225545a3c

ログファイルが書き込めないのはこの辺
http://qiita.com/marufeuille/items/91c68e2bafb8a4c1d889#コンテナの起動