Edited at

ログ収集系の個人的まとめ


2019/05/16 更新しました。エラー検知ツールを紹介

ログ収集系の個人的な超簡易的なまとめです。

僕みたいなそんなの全然追っかけてないけど、運用監視のシステムを作る必要あったので最近のセオリーを調べないとな-っていう人向け。

既にもっと詳しいものはありますが、自分でまとめたかったのでまとめてみました。

とりあえずは有名どころの名前を羅列して最低限俯瞰できるようにしておきます。

※内容間違っているとかあったら指摘ください。


エラー検知(エラートラッキング or エラーモニタリング)ツールについて

厳密にはログ収集と言ってはいけないかもしれませんが。。。

最近使い始めたのでおすすめしておきます。主にJavaScriptなどのフロントエンド向けですが、PHPやNode.jsなどのサーバーサイドもエラー検知可能です。

僕が今使っているのはSentryです。無料で十分使えて綺麗な管理画面もあって、正直公開前提の中小規模Webサービスならこれで良いんじゃないかなと思っています。

無論、大規模システムや社内ネットワークなどでは依然としてログ収集から解析までいろんなシステムを挟む必要はあると思いますが、

とりあえずWebサービスやスマートフォンアプリなどではこれらのツールで十分かなと。


  • Sentry

  • Rollbar

  • Airbrake ( OSSなら errbit )

  • Raygun

  • Bugsnag


最近のセオリー

ログ収集+ログ集積+ログ解析(という名のダッシュボード)

これら3つのOSSプロダクトを組み合わせるのがセオリーです。

Zabbixなどのようなひとまとめは大量のホストがある時やパフォーマンス、柔軟にログを受け入れる必要があるときは使えません。

特に最近ではクラウドサーバーというかDockerなどのコンテナ系仮想技術の影響でサーバー台数も増えたり減ったり可変であったりします。

そんな環境のために、ログ収集に特化したOSSプロダクトが多く出て、それを支える様々なツールが出ているというのが現状かなと思います。


ログ収集


  • Fluentd

  • Logstash

  • Apache Flume

辺りが有名どころ。

個人的には知名度やプラグインの多さ、設定の書きやすさからFluentdがおすすめです。

ちなみにバッチ的に使いたいのなら「Embulk」がおすすめ。

ログ収集に入るか分からないですが、zabbixもありかなと。


クラウド環境向けのログ収集について

クラウド環境に特化したログ集積サービスもいくつかあったので追加でまとめてみます。

Stackdriver LoggingはGCP環境向けSaaS、Datadog Logsはログ集積系で最近来ているSaaSです。


  • Datadog Logs

  • Stackdriver Logging


ログ集積


  • Elasticsearch

  • InfluxDB

  • MongoDB

  • Datadog

  • AWS CloudSearch

  • AWS S3

  • AWS Redshift

  • GCP BigQuery

辺りが有名どころ。

こちらはデファクトスタンダード的にはElasticsearchですが、ログ収集PGは一通りのDBに対応しているので好みで選ぶ。

個人的に業務というか現場で導入するのなら既に動いているMySQLなどの普通のRDBMSに格納して、誰でもどこでも取り出せるようにすると良いと思ってます。


ログ解析・ダッシュボード系

BIツールかPython、Ruby、Go言語辺りで解析するのが定石。

BIツールに関しては有償製品ならTableau、OSSならKibana、Grafanaかな。

個人的にはGUIで一通り構築できるGrafanaが好き。

ちなみにTableauでElasticsearchに接続するにはプラグイン的なものが必要なようです。

elasticsearch-tableau-connector https://github.com/mradamlacey/elasticsearch-tableau-connector

最近はDatadogが来ているような気がします。


参考になりそうなURL

ログ収集して解析したい方へのもっと詳しい参考になりそうなWebページを羅列しておきます。

ログ収集ツールの比較 - Qiita

http://qiita.com/ykzkiy/items/eef3071a0667cb4d5136

Elasticsearch導入前に気を付けておきたいこと! - Qiita

http://qiita.com/uzresk/items/e0b10c14875b79c450f2

Fluentd + Elasticsearch + Kibanaで行うログの分析と可視化

https://www.slideshare.net/keisuke69/aws-night

Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計…

https://www.slideshare.net/daisuke-a-matsui/norikra-fluentd-elasticsearch-kibana

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ

https://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips

Kibanaでsysstatを可視化する

https://www.slideshare.net/raihaku/kibanasysstat

Zabbixの監視情報をGrafanaでグラフィカルなダッシュボードに!! | OSS on Azure 技術ブログ

http://azure.sios.jp/archives/4979

単一のダッシュボードから関連するすべての製造データを監視 | Tableau Software

https://www.tableau.com/ja-jp/solutions/workbook/monitor-all-relevant-production-data-single-dashboard

Elasticsearch、Logstash 、Kibana、によるログの可視化 ~価値のある情報を導き出す方法のご紹介 ~ | キャスレーコンサルティング 技術ブログ

http://www.casleyconsulting.co.jp/blog-engineer/%E3%83%87%E3%83%BC%E3%82%BF%E8%A7%A3%E6%9E%90/elasticsearch%E3%80%81logstash-%E3%80%81kibana%E3%80%81%E3%81%AB%E3%82%88%E3%82%8B%E3%83%AD%E3%82%B0%E3%81%AE%E5%8F%AF%E8%A6%96%E5%8C%96%E3%80%80%EF%BD%9E%E4%BE%A1%E5%80%A4%E3%81%AE%E3%81%82%E3%82%8B/

Flumeを活用したAmebaにおける大規模ログ収集システム

https://www.slideshare.net/iijiji0314/flumeameba

Hadoopを用いた大規模ログ解析

https://www.slideshare.net/iidashuichi/hadoop-7576791

実運用が分かる、OSSでログ管理入門(1):Fluentd+Elasticsearch+Kibanaで作るログ基盤の概要と構築方法 (2/2) - @IT

http://www.atmarkit.co.jp/ait/articles/1704/06/news013_2.html

フロントエンドのエラーを「Sentry」で可視化!技術力の向上にも効果的な、その活用法 | SELECK [セレック]

https://seleck.cc/778

エラー監視には Sentry が超便利! - Qiita

https://qiita.com/Chanmoro/items/a9cbde57fd6c0926b5b4


最後に

本業では普通のSEとして大手食品系企業に直受けで入っていました。

その現場が運用監視のシステムがないため構築のためにこれらを調査しました。

結果的にはZabbix+Grafanaという形にしました。

その現場ではTableauを使っていたので運用監視のログ解析も乗せようと思ったのですが、色々あって重すぎて使えない。。。

なので、Grafanaで運用監視のダッシュボード作ったという感じ。

Kibanaと違ってダッシュボードへのデータを載せる作業が凄いやりやすいGUIだったので導入してます。

特に本業というか業務ではチームのため引き継ぎやスキルなしの方を考えないといけなかったので。。。

結局Fluentdはお仕事では使わなかったですが、とりあえずこうやって纏めれるだけ知識はついたので満足です。


宣伝

最後に軽く宣伝です。

2018年の平成最後のコミケ C95にて情報系評論出します。

サークル「Corner AuZ」 場所は「三日目 東T24」

内容的には様々な仮想通貨を1ページ1通貨で解説する全60Pのオフセット本です。

https://twitter.com/cornerauz/status/1073911099051827200