Kinesis Firehose から Amazon ElasticSearch Service(以下es)へstreamした indexの削除運用

  • 0
    Like
  • 0
    Comment

    esのindexはRBDでいうdatabaseというのはよく書かれているが、

    パーティショニングできるdatabaseという感想

    実際のindex名は hoge-index-2017-04-20 という風に年月日を入れることが出来き、
    この年月日は削除する対象としてを指定できる

    Kinesis Firehoseからesにデータをstreamする際

    Kinesis Firehoseの設定画面は下記のような設定がある
    Amazon_Kinesis_Firehose.png

    index rotation* で OneMonthにするとindex名にプラスして -年-月 を入れてくれる

    esのindex削除運用

    Elasticさん的には Curator を提供してくれているので使うのが吉

    もっと簡単に過去のindexを削除したいのであれば

    $ curl -Xdelete https://your-elasticsearch-domain/hoge-index-yyyy-mm-dd

    をJenkinsに仕込んで/dayで実行してもよさそう

    参考URL

    Curator 3 で Amazon Elasticsearch Service を扱う
    curator で Kibana 用の elasticsearch のインデックスを定期的に削除する