Help us understand the problem. What is going on with this article?

fluentd -> Elasticsearch 大量データ転送でトラブル

More than 5 years have passed since last update.

長くなったので詳細はブログに移行します

目的

  • fluentd でサービスの情報を転送し、Kibana で分析したい
  • これまでの過去データを一度に放り込みたい

問題

  • データの件数が合わない
  • Kibana でエラーが発生する

対応案

  • indx をあらかじめ作成しておく
    index 作成コストは大きい

  • ThreadPool の設定
    デフォルトでは閾値以上のキューが破棄される

  • データマッピングの設定
    特に日付型のフィールドに注意

  • 空の index の削除
    Kibana で作成されるクエリにてエラーの原因となる

  • リクエスト長の設定
    デフォルトは短すぎるため、
    広範囲の日付(=多くの index)を対象としたクエリを
    投げる際にエラーの原因となる

詳しくは
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora

kakipo
コンピューターサイエンス、IT コンサルティング、SI をバックグラウンドとし、 アプリケーション開発を強みとしています。
https://twitter.com/kakipo
smarthr
社会の非合理を、ハックする。
https://smarthr.co.jp/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした