DataDog Log Managementとは？
- DataDog上で各種ログを管理するサービス です。
- 2017/12時点ではβ版でしたが、2018/3に generally availableになりました。
何ができるのか？
容易にログ管理ができて、トラブルシューティングが楽になるツールです。
インフラメトリクスのダッシュボードから関連するログへジャンプできたりします
その他、一般的な用途としては
- 複数ノードのログ集約
- ログフィルタリング、およびタグ管理
- 可視化、およびアラート通知
- ログ処理のパイプライン構築
などができます。
使ってみる
- Install方法はこちらに書いてある ので割愛。
- Log ManagementはDataDog Agentのversion 6.0以降の機能なので、5系以前の場合はupgradeする必要があります。
設定内容
- 1. Logs agentをONにします。
/etc/datadog-agent/datadog.yaml
logs_enabled: true
- 2. nginx用のconfに以下を書きます。（今回の例はnginxのログ出力）
/etc/datadog-agent/conf.d/nginx.d/conf.yaml
logs:
# - type : (mandatory) type of log input source (tcp / udp / file)
# port / path : (mandatory) Set port if type is tcp or udp. Set path if type is file
# service : (mandatory) name of the service owning the log
# source : (mandatory) attribute that defines which integration is sending the logs
# sourcecategory : (optional) Multiple value attribute. Can be used to refine the source attribtue
# tags: (optional) add tags to each logs collected
- type: file
path: /var/log/nginx/access.log
service: nginx
source: nginx
sourcecategory: http_web_access
- type: file
path: /var/log/nginx/error.log
service: nginx
source: nginx
sourcecategory: http_web_access
- 3. datadogをrestartします。
datadog-agent stop
datadog-agent start
※ datadogのversion6.0以降はSysVinitがサポートされないため、AmazonLinux (ver1) など、init.dを使うようなOSでは、コマンド が5系から少し変わります。
出力内容
上記でnginx用の設定は完了。
これでインフラダッシュボードの気になるポイントから対応するログまでひとっ飛び!!
2018.3.27時点で対応しているサービス
GCPやAzureはまだみたいです。これからどんどん増えていきそう。
料金
- LogのEvent数と保持期間によって料金が変わってきます
- 例えば、10000 Events/minが定常的に来るログを7日間保持すると
( 10000 Events/min * 60 min * 24 hour * 30 day ) * 1.27 / per 100 Million Events = $548 / month
- この程度であれば月5〜6万ですが、1種類のログでこの料金なので、保持期間を伸ばしたり、複数種類のログを保持したり、大規模にアクセスが増えたりすると、コストが一気に膨れ上がります。
- どうしてもコストを抑えたいのであれば、エラーログのみLog Managementで管理するなどで対策は取れそう。
注意事項
- version 6系は5系のコア部分を大きく書き換えており、コマンド実行方法以外にも、confファイル管理場所など、一部互換性がありません。exampleのymlファイルの中身にも変更があるため、exampleファイルをコード管理している場合は合わせて修正しとくのが吉。
- version6.0以降はコマンドも少し変わっているため、運用スクリプトなどを作り込んでいる場合はversion up時の影響は大きそうです。
感想
- インフラメトリクスのダッシュボードからのジャンプがイカす感じです。
- DataDog APMとも連携できるみたいなので、よりログと密接に付き合えそうです。