Posted at

DataDog Log Managementを使って、インフラダッシュボードから関連するログまでひとっ飛び

More than 1 year has passed since last update.


DataDog Log Managementとは?


何ができるのか?

容易にログ管理ができて、トラブルシューティングが楽になるツールです。

インフラメトリクスのダッシュボードから関連するログへジャンプできたりします

その他、一般的な用途としては


  • 複数ノードのログ集約

  • ログフィルタリング、およびタグ管理

  • 可視化、およびアラート通知

  • ログ処理のパイプライン構築

などができます。


使ってみる


  • Install方法はこちらに書いてある ので割愛。

  • Log ManagementはDataDog Agentのversion 6.0以降の機能なので、5系以前の場合はupgradeする必要があります。


設定内容


  • 1. Logs agentをONにします。


/etc/datadog-agent/datadog.yaml

logs_enabled: true



  • 2. nginx用のconfに以下を書きます。(今回の例はnginxのログ出力)


/etc/datadog-agent/conf.d/nginx.d/conf.yaml

logs:

# - type : (mandatory) type of log input source (tcp / udp / file)
# port / path : (mandatory) Set port if type is tcp or udp. Set path if type is file
# service : (mandatory) name of the service owning the log
# source : (mandatory) attribute that defines which integration is sending the logs
# sourcecategory : (optional) Multiple value attribute. Can be used to refine the source attribtue
# tags: (optional) add tags to each logs collected

- type: file
path: /var/log/nginx/access.log
service: nginx
source: nginx
sourcecategory: http_web_access

- type: file
path: /var/log/nginx/error.log
service: nginx
source: nginx
sourcecategory: http_web_access



  • 3. datadogをrestartします。

datadog-agent stop

datadog-agent start

※ datadogのversion6.0以降はSysVinitがサポートされないため、AmazonLinux (ver1) など、init.dを使うようなOSでは、コマンド が5系から少し変わります。


出力内容

上記でnginx用の設定は完了。

これでインフラダッシュボードの気になるポイントから対応するログまでひとっ飛び!!

datadog_v6_01.gif


2018.3.27時点で対応しているサービス

スクリーンショット 2018-03-27 13.15.48 2.png

スクリーンショット 2018-03-27 13.15.55 2.png

スクリーンショット 2018-03-27 13.16.01 2.png

GCPやAzureはまだみたいです。これからどんどん増えていきそう。


料金


  • LogのEvent数と保持期間によって料金が変わってきます

  • 例えば、10000 Events/minが定常的に来るログを7日間保持すると

( 10000 Events/min * 60 min * 24 hour * 30 day ) * 1.27 / per 100 Million Events = $548 / month


  • この程度であれば月5〜6万ですが、1種類のログでこの料金なので、保持期間を伸ばしたり、複数種類のログを保持したり、大規模にアクセスが増えたりすると、コストが一気に膨れ上がります。

  • どうしてもコストを抑えたいのであれば、エラーログのみLog Managementで管理するなどで対策は取れそう。


注意事項


  • version 6系は5系のコア部分を大きく書き換えており、コマンド実行方法以外にも、confファイル管理場所など、一部互換性がありません。exampleのymlファイルの中身にも変更があるため、exampleファイルをコード管理している場合は合わせて修正しとくのが吉。

  • version6.0以降はコマンドも少し変わっているため、運用スクリプトなどを作り込んでいる場合はversion up時の影響は大きそうです。


感想


  • インフラメトリクスのダッシュボードからのジャンプがイカす感じです。

  • DataDog APMとも連携できるみたいなので、よりログと密接に付き合えそうです。