re:invent 2019 で発表された Elasticsearch service の新しいデータノード UltraWarm について解説していきたいと思います。
ですが、AWS New Blog に書いてあることをここで書いてもしょうがないので、 Chalk Talk 1で仕入れてきた、ブログには載っていない情報も書いておきます。
UltraWarm とは
とはいえ基本的なことは書いておきます。
UltraWarmは 巨大なサイズのログ解析を低コストで可能とする、新しいタイプのデータノードです。
下記に UltraWarm の特徴を書いていきます。
低コスト
UltraWarm はいわゆるウォームストレージと呼ばれるものです。
アクセス頻度の低いデータを保管コストの安いストレージに保存することで、コスト削減を測ります。
UltraWarm はウォームストレージとしてS3にデータを保管します。これにより90%程度のコスト削減を図ることの出来る、画期的なデータノードであるわけです。
UltraWarm データノードは二つのストレージティアをもっており、アクセス頻度の低いデータをS3へ自動的に移動するようです。
高可用性
ストレージティアーにS3を選択することで、低コスト化と同時に高い可用性を実現しました。
その可用性はつまりS3と同じ、99.99%となります。
高速アクセス
Nitro System をフル活用することで、既存のデータノードに引けを取らないどころか、それ以上に高速なデータアクセスを可能としているようです。
FAQ
Chalk Talk セッションが開かれた時にはすでにブログに情報は上がっていました。
よって下記FAQの内容はブログには載っていないものです。
Q: 既存のデータノードを使う理由はあるの？
A: ありません。
もちろんプレビュー段階で対応している Elasticsearch のバージョンが6.8なので、それ以上を使うのであればそもそも UltraWarm は使えないのですが。
開発者曰く、現状使っているD2インスタンスはコストも高く、データノードしては不適格であると認識していたそうです。
よって UltraWarm が利用できるようになったのであれば、これを使わないという選択肢はありません。
とはいえデータが1TBにおさまるようならば、D2ノードで運用した場合と値段が変わらないらしいです。
ですが UltraWarm を使うデメリットはないので、使っておけば間違いないでしょう。
Q: なんで現状のESでサポートする7.1には対応しないの？
A: GA(General Availability)ではないから。
ようは安定版じゃないからってことですね。つまり7系のGAでてからじゃないと、 UltraWarm 対応はないってことです。
Q: １つの UltraWarm データノードでサポートされるデータサイズは？
A: medium だと1.5TB、 large だと2TBとなるようです。
S3の容量が無制限とはいえ、インデックスサイズ等の理由で最大のデータサイズがあるようです。
Q: S3に移動されるデータの基準は？
A: ７日間アクセスがなかったデータ。
言い換えると７日間検索の対象にならなかったデータは、７日間で自動的にS3へ移動されるようです。
参考
おまけ; Chalk Talk について
今回は 会社の金で re:invent へ行ってきたわけですが、英語力に自信があるならば Chalk Talk はおすすめです。
上記のようにサービスの詳細な仕様を、公開できる範囲で説明してくれます。特に制約などの話です。
リリース記事ではわざわざネガティブな制約については書いてくれないので、導入を検討するのならば制約については抑えておく必要があります。
2020の参加を考えているあなたの re:invent をより良いものにしたいのであれば、是非とも Chalk Talk へ行ってみましょう。
-
開発者やプロダクトマネージャーと直接会話して、サービスの詳細を質問、利用方法を議論できるタイプのセッション 。 ↩