はじめに

とりとめなく書いてる、Elasticsearchネタです。

　概要

6.6からIndex Lifecycle Management(ILM)という機能が追加されます。これまで、Curator等、外部からの実行に頼っていたIndexの管理をこの機能で行うことができるようになります（BASICライセンスで使える！）。

ILMでは、ライフサイクルのフェーズごとに何をするかを定義するポリシーを作成して、それをIndex、もしくは、Index Templateに指定します。
7.0.0-SNAPSHOTでは、watch_history-ilm-policyという、.watch_historyを管理するポリシーがデフォルトで組み込まれるなど、システムでも活用されています。

また、KibanaにはUIが実装され、ポリシーの作成・適用、Index ManagementのUIから各Indexがどのフェーズにいるのかを見ることもできます。

スナップショット作成はできないので、Curatorにやってもらいましょう。
でも、スナップショットもとれるようにしよう！とかいうIssueもでてきました。どうするCurator！

IndexのLifecycleにフェーズがあって、そのフェーズごとにやれること（アクション）が決まっています。

　使い方

まずフェーズごとに何をするのかを決めたポリシーを作成
そのポリシーをインデックステンプレートに適用（もしくは、インデックス作成時にポリシーを指定）
ILMを起動

作成済みのIndexに対して、ポリシーを適用することも出来ます。

　ライフサイクルのフェーズ

フェーズには、以下の4つがあります。

hot: このフェーズのインデックスには、ガンガン書き込まれています
warm: このフェーズのインデックスには（ほとんど）書き込みはありませんが、ガンガン検索されます
cold: このフェーズのインデックスは更新されず、めったに検索されません。でも、まだ（遅くてもいいので）検索可能である必要はあります
delete: このフェーズのインデックスは必要ないので消しても大丈夫です

アクション

で、各フェーズでは、以下のアクションを実行することができます。

hot: Rollover, Set Priority(6.7~), Unfollow(6.7~)
warm: Allocate, Read-Only, Force Merge, Shrink, Set Priority(6.7~), Unfollow(6.7~)
cold: Allocate, Set Priority(6.7~), Freeze(6.7~), Unfollow(6.7~)
delete: Delete

Rollover: Rolloverするタイミングを設定する
Set Priority: Index回復の優先順位を設定する（値は0以上）。hot > warm > cold の順に値を指定しておくと良さそう
Unfollow: CCRのFollower Indexとなっている場合に、通常のIndexに戻す。Unfollowは明示的に実行も出来るけど、Rollover ActionとShrink Actionの前に自動的に実行される。ので、通常は指定する必要は無さそう。と7.0では書いてある。6.xでは書いてない。
Allocate: Indexを移動したり、レプリカ数を変えたりする
Force Merge: SegmentをForce mergeする
Read-Only: IndexをRead-Onlyにする
Shrink: IndexをShrinkする
Freeze: IndexをFreezeする
Delete: Indexを削除する

一部は、まだKibana上から指定できません（今のところ、6.7ではSet PriorityとUnfollowが、7.0ではUnfollowが使えない）。

使用例

前提

前提として、node.attr.XXX（XXXは任意）に有意な値を設定しておく
- 例えば、node.attr.box_typeにhot/warm/coldなどを設定
- Indexテンプレートでは、hot,warmのノードにIndexを作成するように指定
- policyには、warm phaseではrequire.box_type=hot, warmを、cold phaseではrequire.box_type=coldを指定して、フェーズごとにシャードの移動を行う

ILM Policy設定の作成

Kibana上のUIから作ります。
hotからwarm、cold、deleteへの移行については、hotでRolloverをやる・やらないで、UI上での設定項目が変わります。

RolloverをUIで設定する場合は、必ずmax_ageを指定する必要があります（mac_docs, max_sizeはどちらか一方を指定）。

Rolloverする場合

Rollover後すぐにwarmに移行するか、もしくは、Rolloverしてから一定時間後に移行するかを選ぶことができます。

Rolloverしない場合

Indexが作成されてからの経過時間を設定します。

Indexテンプレートの作成

下記のように、最初にIndexが作成されるノードをhot属性のついたノードに固定しておきます。

PUT _template/test_template
{
   "index_patterns": ["test-*"],
   "settings": {
     "number_of_shards": 3,
     "number_of_replicas": 1,
     "lifecycle.name": "<ポリシー名>",
     "lifecycle.rollover_alias": "test",
     "routing.allocation.require.box_type": "hot"
   }
}

以降、Phaseが移行する都度index.routing.allocation.require.box_typeの値が変わっていきます（通常は手動でやるところを、ILMが自動的に変えてくれる）。

Rollover設定

続いて、Rollover設定を行います。

PUT test-000001
{
   "aliases": {
     "test": {
       "is_write_index": true
     }
   }
}

あとは、Aliasに対してデータを投入します。

各プロダクトでのILM対応

Beats

Kibana

Logstash

Curator

競合？
少なくともスナップショットはCuratorで。

おわりに

6.6では、スナップショットの作成とILMの実行がかぶるとおかしなことになるらしいですが、6.6では対処されず、6.7以降で解決します。
てな感じで、6.6で入るけどまだまだかなー。でも早く使いたい！