ログあるある
いつの時代でもシステムの動作確認では重要な役割をする「ログ」ですが、
「Error」ひとつでも表現方法はアプリ/ミドルによって様々です。
例えば以下のようなエラーログがあります。
1. ど直球
PROCESS | Error | Host unknown.
2. コロン系
E:Host unknown
3. カッコ系
[E] Host unknown
4. 察して系
E Host unknown
さて、どう監視しようか？
オールドツール(と言っては失礼かも）では、特殊文字を気にしないものもあり、
まんまの形でログ監視キーワードに指定していました。
文字列にキーワード[E]があったら、アラート検知・通知や！
文字列にキーワードE:があったら、アラート検知・通知や！
Datadogでは？
「Error」はそのままのキーワードでも検知出来ます(本当は良くない)が、
特殊文字を含むとそのまま文字としては使えません。
そこで、2通りのやり方を考えました。
其の１ DatadogAgentでGrepしちゃおうぜ！
DatadogAgentがインストールされている前提ですが、
ログ監視のconf.yamlに以下のように設定しました。
- type: file
path: /var/log/test.log
service: hogehoge
source: hoge-channel
log_processing_rules:
- type: include_at_match
name: inc_messages_err
pattern: (E:)
さて、テストしようか。
結果は、、うむうむ。よしよし。「E:」だけを取得出来たぞい。
でも、「E:」以外のログが取得出来ないじゃん！！
障害対応等では前後のログが意味を持ち、文脈が重要な場合もあるので没。。
其の２ Datadogコンソール上で特殊文字をエスケープすれば良くない？
DatadogAgentではログの絞り込みはせず、全量を連携させます。
連携されたログの中から、「E:」を探す作戦です。
こんな感じでどうかな？
だめだ （T T）
じゃあ、ぐろっくぱーさーを使おう(Grok Parser）
Datadogには協力なPipelinesがあるじゃないか！
「https://docs.datadoghq.com/ja/logs/log_configuration/parsing/」より引用
パイプライを新規で作成→今回はベタに「E-colon」と命名
ログのサンプルと定義を作成すると簡単にルールが出来ちゃう！
後は、作成したルールをログエクスプローラーで検索してみると、、、
出来た！これで他のログを取得しつつ、監視用のキーワードも設定出来るぞぉぉぉ
どんなパターンでも特殊文字でもきっと大丈夫だ！たぶん！！
という事で、ログ監視はまだまだ続く
今回はとてもシンプルなものの話でしたが、ログが複雑なパターン等も出てきており、
色々と試行錯誤をしながら対応をしている日々です。
今後はパターン分析等での活用など、まだ(自分が)知らないDatadogの機能と格闘する所存です！
おしまい