Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationEventAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
2
Help us understand the problem. What are the problem?

More than 5 years have passed since last update.

@kakipo

fluentd -> Elasticsearch 大量データ転送でトラブル

長くなったので詳細はブログに移行します

目的

  • fluentd でサービスの情報を転送し、Kibana で分析したい
  • これまでの過去データを一度に放り込みたい

問題

  • データの件数が合わない
  • Kibana でエラーが発生する

対応案

  • indx をあらかじめ作成しておく
    index 作成コストは大きい

  • ThreadPool の設定
    デフォルトでは閾値以上のキューが破棄される

  • データマッピングの設定
    特に日付型のフィールドに注意

  • 空の index の削除
    Kibana で作成されるクエリにてエラーの原因となる

  • リクエスト長の設定
    デフォルトは短すぎるため、
    広範囲の日付(=多くの index)を対象としたクエリを
    投げる際にエラーの原因となる

詳しくは
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
2
Help us understand the problem. What are the problem?