logstashでapacheのアクセスログをelasticsearchに送信し、kibanaでグラフ表示

この記事は Elasticsearch Advent Calendar 2015 9日目です。
elasticsearchを初めて使ってみました。

参考

• Logstash Configuration Examples
• logstash input plugin
• logstash output plugin

概念

種類	説明
logstash	今回は/var/log/apache2/access.logを監視。追記があればelasticsearchに送信
elasticsearch	ログデータを蓄積
kibana	elasticsearchのログデータを解析しグラフ化

elasticsearchとkibanaを起動

elasticsearchを起動(port9200,9300)

docker run -d --name elasticsearch \
  -p 9200:9200 \
  -p 9300:9300 \
  elasticsearch

kibanaを起動(port5601)

docker run -d \
  --name kibana4 \
  --link elasticsearch:es \
  -e ELASTICSEARCH_URL=http://es:9200 \
  -p 0.0.0.0:5601:5601 \
  kibana

• http://localhost:5601/ にアクセスしkibanaの画面が表示されることを確認。

logstashダウンロード

• Download Logstash Free • Get Started Now | Elastic
  • debファイルがあるのでダウンロード、インストール
  • /opt/logstash/bin/ をPATH通す。

設定

• ubuntuにLogstashを入れる - Qiita

~/test.conf

input { file { path=> "/var/log/apache2/access.log" } }

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    locale => "en"
  }
}

output {
  elasticsearch { hosts => ["localhost:9200"] }
}

configtest

$ logstash --configtest -f test.conf
Configuration OK

実行方法

$ logstash -f test.conf

kibanaのグラフ設定

• 右上にsaveボタンがあるので押下

おわりに

• この組み合わせだとapache以外のログも簡単にグラフ化できますね。