概要
Kibana(Elasticsearch)なログ基盤にFirehose経由で脳直にUnix timestampを投げ込んだら、見事に Date 型として認識してくれなかったのでメモ。 number になっちゃうんだよなぁ…
Autoindexが良い感じに処理してくれるようにテンプレートを書く感じ。
下準備
すでに存在しているindexは消しておく
テンプレート設定
type と index が分かれば設定できる。
indexについて
特に気にする必要はなくて、 hoge-* とか hoge-error-* とか hoge-error-log-* とかで良さそう。
typeについて
typeが把握できていない場合は Kinesis の設定画面を見れば良さそう。
「 Amazon Kinesis -> Data Firehose -> 該当するストリーム名 」で辿り着くページの Amazon Elasticsearch Service destination を見ればわかる。
以上を踏まえた設定値
PUT _template/hoge_template
{
"template": "hoge-error-log-*",
"mappings": {
"log": {
"properties":{
"timestamp": {
"type": "date",
"format": "epoch_second"
}
}
}
}
}
データを投げ込む
適当に。例えばこんなデータ。
{
"host": "ip.ap-northeast-1.compute.internal",
"message": "test",
"level": "err",
"timestamp": 1560762549
}
動作確認(Create index patternをしてみる)
わーい！ちゃんと date として認識しているぞー
補足
浮動小数点なデータ( date +%s.%3N コマンドで取れるようなミリ秒付きの値)でも動作はするが、内部処理系で整数型に丸められているみたい。
なので、解析にミリ秒が必要なときは、ちゃんとミリ秒単位なunix epoch(13桁)を投げ込むようにして、 format に epoch_millis を指定すると良さそう。
利用できる format 情報については下記を参照。
format | Elasticsearch Reference [7.1] | Elastic
ちなみに epoch_millis||basic_ordinal_date_time_no_millis みたいな指定もできるらしい。試してないけど。
参考文献
SORACOM Funnel の timestamp を Elasticsearch で自動mappingする方法 - Qiita
Elasticsearchの自動マッピングの一部を上書きする方法 - Qiita