LoginSignup
0
1

More than 5 years have passed since last update.

Kinesis Firehose から Amazon ElasticSearch Service(以下es)へstreamした indexの削除運用

Last updated at Posted at 2017-04-20

esのindexはRBDでいうdatabaseというのはよく書かれているが、

パーティショニングできるdatabaseという感想

実際のindex名は hoge-index-2017-04-20 という風に年月日を入れることが出来き、
この年月日は削除する対象としてを指定できる

Kinesis Firehoseからesにデータをstreamする際

Kinesis Firehoseの設定画面は下記のような設定がある
Amazon_Kinesis_Firehose.png

index rotation* で OneMonthにするとindex名にプラスして -年-月 を入れてくれる

esのindex削除運用

Elasticさん的には Curator を提供してくれているので使うのが吉

もっと簡単に過去のindexを削除したいのであれば

$ curl -Xdelete https://your-elasticsearch-domain/hoge-index-yyyy-mm-dd

をJenkinsに仕込んで/dayで実行してもよさそう

参考URL

Curator 3 で Amazon Elasticsearch Service を扱う
curator で Kibana 用の elasticsearch のインデックスを定期的に削除する

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1