長くなったので詳細はブログに移行します
目的
- fluentd でサービスの情報を転送し、Kibana で分析したい
- これまでの過去データを一度に放り込みたい
問題
- データの件数が合わない
- Kibana でエラーが発生する
対応案
-
indx をあらかじめ作成しておく
index 作成コストは大きい -
ThreadPool の設定
デフォルトでは閾値以上のキューが破棄される -
データマッピングの設定
特に日付型のフィールドに注意 -
空の index の削除
Kibana で作成されるクエリにてエラーの原因となる -
リクエスト長の設定
デフォルトは短すぎるため、
広範囲の日付(=多くの index)を対象としたクエリを
投げる際にエラーの原因となる