LoginSignup
1
2

More than 5 years have passed since last update.

docker fluent memo

Posted at

たぶんいろんな方がやっていると思いますが、Ubuntu16.04LTS+Docker+Fluentdを動かそうとしてます。それで、RasPi2からのNetFlowを受ける予定。

■メインどころの参考ページ
Fluentd の Docker イメージを動かした際のメモ
http://tatsuyafw.hatenablog.jp/entry/2016/08/30/000038
・とこれを組み合わせてやってみることに(5/4)
【Docker】FluentdとElasticsearchとKibanaの環境構築
http://qiita.com/narumi_/items/ec1c4cbbc65ec26b46f8

■事前作業
Dockerイメージとコンテナの削除方法
http://qiita.com/tifa2chan/items/e9aa408244687a63a0ae
Dockerの不要なボリュームを削除する
http://zashikiro.hateblo.jp/entry/2016/08/16/201633

Dockerfileにnetflowのpluginを記述する

Dockerfile
FROM fluent/fluentd
RUN fluent-gem install fluent-plugcin-netflow
RUN fluent-gem install fluent-plugin-elasticsearch

保存したら
sudo docker build -t custom-fluentd:latest ./
実行は
sudo docker run -d -p 24224:24224 -p 24224:24224/udp -v /home/fluentd/log:/fluentd/log -v /home/fluentd:/fluentd/etc -e FLUENTD_CONF=fluentd.conf custom-fluentd

fluent.confはこんな感じ

fluentd.conf
<source>
  type netflow
  tag netflow.event
  port 24224
</source>
#<match **>
#  @type stdout
#</match>
<match docker.**>
  @type file
  @id   output1
   path         /fluentd/log/dockerdata.*.log
   symlink_path /fluentd/log/dockerdata.log
   append       true
   time_slice_format %Y%m%d
   time_slice_wait   1m
   time_format       %Y%m%dT%H%M%S%z
</match>
<match netflow.event>
  @type file
   path         /fluentd/log/data.*.log
   symlink?path /fluentd/log/data.log
   append       true
</match>
#<match **>
#  type file
#  path /home/fluentd
#</match>

Dockerについて基本から最近追加された機能までまとめ
http://qiita.com/tigberd/items/b94ae2bf7d78685cd6f5

この辺から始め
・Dockerコンテナ(Ubuntu 16.04 xenial)へのtd-agentの導入
http://qiita.com/RyoMa_0923/items/8f6f5e2bffaafe0fbebc
・(古いけど)Dockerコンテナのロギング機能を使ってみる
http://knowledge.sakura.ad.jp/knowledge/6752/
・(非Docker)職場でよく耳にするfluentdを試してみました
http://qiita.com/mitzi2funk/items/8ef7e3c2707124adc739
・(非Docker)GrafanaによるNetFlow v9トラフィック分析
http://qiita.com/ishizaghi/items/b0ecd9fa50e503362165

・公式
http://docs.fluentd.org/v0.12/categories/installation
http://docs.fluentd.org/v0.12/articles/install-by-docker
・Netflowコレクターを無償のFluend+ElasticSearch+Kibanaで構築する
http://komeiy.hatenablog.com/entry/2014/09/26/212000
・Netflow plugin for Fluentd
https://github.com/repeatedly/fluent-plugin-netflow
http://blog.takanabe.tokyo/2015/12/24/2021/

Docker ドキュメント日本語化プロジェクト
http://docs.docker.jp
fluentd最低限のメモ
http://qiita.com/zaburo/items/dbd943d370afe8e4a304
docker-composeでfluentd + elasticsearch + kibana4 環境をつくるhttp://qiita.com/cgetc/items/345e3c686910b30ba49f
【Docker】FluentdとElasticsearchとKibanaの環境構築
http://qiita.com/narumi_/items/ec1c4cbbc65ec26b46f8
Dockerコンテナのロギング機能を使ってみる
http://knowledge.sakura.ad.jp/knowledge/6752/
Dockerコンテナのファイルディスクリプタ設定
http://qiita.com/kazunori279/items/5aedb6ed548225545a3c

ログファイルが書き込めないのはこの辺
http://qiita.com/marufeuille/items/91c68e2bafb8a4c1d889#コンテナの起動

1
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
2