Logstash失敗事例その1
月が変わってログデータの取り込みが失敗するようになったため、うまくいくパターン、うまくいかないパターンを調査した。
| ログのパターン | 結果 |
|---|---|
| Aug 15 00:00:01 … | うまくいく |
| Sep 7 00:00:01 … | うまくいかない |
原因
日付が1桁の場合のmatch条件の考慮がなかった。
logstash.conf修正前
match => [ "logdate", "MMM dd yyyy HH:mm:ss" ]
*logdateというフィールドを作って、それをtimestampとして採用していた。
解決策
公式ページを頼りに、以下の通りに修正して解決。
logstash.conf修正後
match => [ "logdate", "MMM dd yyyy HH:mm:ss",
"MMM d yyyy HH:mm:ss", "ISO8601" ]
おまけ
なお、
grok-patternファイルの初期値にある、SYSLOGTIMESTAMPの記述の「＋」は、スペースが「0もしくは複数」ということらしく、
MMM[space]dd
MMM[space][space]d のように日付が1桁の場合にも対応していた。
MONTH \b(?:[Jj]an(?:uary|uar)?|[Ff]eb(?:ruary|ruar)?|[Mm](?:a|ä)?r(?:ch|z)?|[Aa]pr(?:il)?|[Mm]a(?:y|i)?|[Jj]un(?:e|i)?|[Jj]ul(?:y)?|[Aa]ug(?:ust)?|[Ss]ep(?:tember)?|[Oo](?:c|k)?t(?:ober)?|[Nn]ov(?:ember)?|[Dd]e(?:c|z)(?:ember)?)\b
MONTHDAY (?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])
TIME (?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9])
SYSLOGTIMESTAMP %{MONTH} +%{MONTHDAY} %{TIME}
基本のtimestampは、しっかり問題を押さえていたようで…。
以上、パース自体は動作するものの、matchで台無しにする失敗例でした。