Help us understand the problem. What is going on with this article?

AWS UltraWarm 詳細解説

re:invent 2019 で発表された Elasticsearch service の新しいデータノード UltraWarm について解説していきたいと思います。
ですが、AWS New Blog に書いてあることをここで書いてもしょうがないので、 Chalk Talk 1で仕入れてきた、ブログには載っていない情報も書いておきます。

UltraWarm とは

とはいえ基本的なことは書いておきます。
UltraWarmは 巨大なサイズのログ解析を低コストで可能とする、新しいタイプのデータノードです。
下記に UltraWarm の特徴を書いていきます。

低コスト

UltraWarm はいわゆるウォームストレージと呼ばれるものです。
アクセス頻度の低いデータを保管コストの安いストレージに保存することで、コスト削減を測ります。
UltraWarm はウォームストレージとしてS3にデータを保管します。これにより90%程度のコスト削減を図ることの出来る、画期的なデータノードであるわけです。
UltraWarm データノードは二つのストレージティアをもっており、アクセス頻度の低いデータをS3へ自動的に移動するようです。

高可用性

ストレージティアーにS3を選択することで、低コスト化と同時に高い可用性を実現しました。
その可用性はつまりS3と同じ、99.99%となります。

高速アクセス

Nitro System をフル活用することで、既存のデータノードに引けを取らないどころか、それ以上に高速なデータアクセスを可能としているようです。

FAQ

Chalk Talk セッションが開かれた時にはすでにブログに情報は上がっていました。
よって下記FAQの内容はブログには載っていないものです。

Q: 既存のデータノードを使う理由はあるの?

A: ありません。
もちろんプレビュー段階で対応している Elasticsearch のバージョンが6.8なので、それ以上を使うのであればそもそも UltraWarm は使えないのですが。
開発者曰く、現状使っているD2インスタンスはコストも高く、データノードしては不適格であると認識していたそうです。
よって UltraWarm が利用できるようになったのであれば、これを使わないという選択肢はありません。
とはいえデータが1TBにおさまるようならば、D2ノードで運用した場合と値段が変わらないらしいです。
ですが UltraWarm を使うデメリットはないので、使っておけば間違いないでしょう。

Q: なんで現状のESでサポートする7.1には対応しないの?

A: GA(General Availability)ではないから。
ようは安定版じゃないからってことですね。つまり7系のGAでてからじゃないと、 UltraWarm 対応はないってことです。

Q: 1つの UltraWarm データノードでサポートされるデータサイズは?

A: medium だと1.5TB、 large だと2TBとなるようです。
S3の容量が無制限とはいえ、インデックスサイズ等の理由で最大のデータサイズがあるようです。

Q: S3に移動されるデータの基準は?

A: 7日間アクセスがなかったデータ。
言い換えると7日間検索の対象にならなかったデータは、7日間で自動的にS3へ移動されるようです。

参考

AWS Blog のアナウンス記事

おまけ; Chalk Talk について

今回は 会社の金で re:invent へ行ってきたわけですが、英語力に自信があるならば Chalk Talk はおすすめです。
上記のようにサービスの詳細な仕様を、公開できる範囲で説明してくれます。特に制約などの話です。
リリース記事ではわざわざネガティブな制約については書いてくれないので、導入を検討するのならば制約については抑えておく必要があります。
2020の参加を考えているあなたの re:invent をより良いものにしたいのであれば、是非とも Chalk Talk へ行ってみましょう。


  1. 開発者やプロダクトマネージャーと直接会話して、サービスの詳細を質問、利用方法を議論できるタイプのセッション 。 

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away