0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【AWS SAP対策】Open Search Serviceの構造を調べてみた

0
Posted at

どーも!shihopowerです!今回はOpen Search Serviceについてお話します。SAP対策を行っているとOpen Search Serviceに関する模擬問題に出くわしました。そこでUltraWarmやらインデックスやら知らない用語が出てきたので調べてまとめてみました。

まだまだ未熟者ゆえ間違っているところあるかもしれませんが、温かい目で読んでいただけると嬉しいです。

目次

  1. 問題を読んでみる
  2. Open Search Serviceとは何か、なぜ必要なのか
  3. OpenSearchクラスターの構造を分解する
  4. ストレージ階層を理解する(Hot / UltraWarm / Cold)
  5. 問題を解いてみる
  6. まとめ

1. 問題を読んでみる

まず今回のきっかけとなった模擬問題のシナリオを要点だけまとめます。

シナリオの要約

  • 医療シンクタンクが遺伝子データを Amazon OpenSearch Service で分析している
  • データはまず S3 Standard に保存され、その後 OpenSearchクラスターにロード されて分析される
  • 分析が終わるとデータは クラスターから削除 される
  • ただし、すべての入力データのコピーをアーカイブとして保持 する必要がある
  • データ量は年々増加していて、コスト最適化が求められている

問われていること

クラスター内のコストと、S3アーカイブのコストを 同時に最適化 する設計を選ぶ問題です。

4つの選択肢の概要

選択肢 クラスター側の対策 S3側の対策
A 全データノードをUltraWarmに置き換え ロード時にDeep Archive移行
B(正解) データノード削減+UltraWarm追加 一定期間後にライフサイクルでDeep Archive
C データノード削減+UltraWarm+コールド追加 S3から削除
D データノード削減+インスタンスバックドノード追加 ロード時にDeep Archive移行

正解はBらしいのですが、「UltraWarm」「インスタンスバックド」「データノード」など知らない用語が並んでいて、なぜBなのか自分の言葉で説明できません。そこでまずはOpenSearch Service自体を理解するところから始めます。


2. Open Search Serviceとは何か、なぜ必要なのか

2-1. Open Search Serviceとは何か

AWS公式の「What is Amazon OpenSearch Service?」ページには次のように定義されています。

Amazon OpenSearch Service is a managed service that makes it easy to deploy, operate, and scale OpenSearch clusters in the AWS Cloud.

つまり、OpenSearchクラスターをAWSクラウド上で簡単にデプロイ・運用・スケールできるマネージドサービス です。

ここで「OpenSearchとは何か」も押さえておきます。同じく公式から引用すると、

OpenSearch is a fully open-source search and analytics engine for use cases such as log analytics, real-time application monitoring, and clickstream analysis.

OpenSearchは フルオープンソースの検索・分析エンジン で、ログ分析、リアルタイムアプリケーション監視、クリックストリーム分析などのユースケースに使われます。元はAmazon Elasticsearch Serviceという名前でしたが、OpenSearchへフォークされた経緯があり、Amazon OpenSearch ServiceはOpenSearchに加えてレガシーElasticsearch OSS(7.10まで)もサポートしています。

そして重要なのが次の一文です。

An OpenSearch Service domain is synonymous with an OpenSearch cluster.

OpenSearch Serviceにおける「ドメイン」はOpenSearchの「クラスター」と同義 です。AWSコンソールで「ドメインを作成」と言われたら、それはOpenSearchクラスターを1つ立てている、ということになります。

2-2. なぜOpen Search Serviceを使うのか

AWS公式の「When to use OpenSearch versus Amazon OpenSearch Service」セクションでは、セルフマネージドのOpenSearchを使う場合とマネージドサービスを使う場合の判断基準が示されています。マネージドサービスを選ぶ理由として挙げられているのは次のような点です。

  • 自分でインフラを管理・監視・メンテナンスしたくない
  • データをストレージ階層に分けて、S3の耐久性と低コストを活用したい(これが問題に直結します)
  • DynamoDB、IAM、CloudWatch、CloudFormationなどAWSサービスとの統合を使いたい
  • AWSサポートから予防保守や障害対応の支援を受けたい
  • 自己修復、プロアクティブな保守、耐障害性、バックアップなどの機能を使いたい

「自分で運用するか、マネージドに任せるか」という選択肢の中で、ストレージ階層化による分析コスト管理 が明示的に挙げられているのがポイントです。

2-3. マネージドサービスとして提供される機能

公式の「Features of Amazon OpenSearch Service」セクションから、問題に関わる部分を抜粋します。

スケール

  • 多様なインスタンスタイプ(コスト効率の良いGravitonインスタンス含む)
  • 最大1002データノードまでサポート
  • 最大25PBのアタッチドストレージ
  • 読み取り専用データ向けの UltraWarm および Cold Storage(コスト効率に優れる)

安定性

  • リージョンとアベイラビリティーゾーン
  • Multi-AZ(2〜3つのAZにノードを分散)
  • クラスター管理タスクをオフロードする 専用マスターノード
  • ドメインのバックアップ・復元のための自動スナップショット

統合

  • Amazon S3、Amazon Kinesis、Amazon DynamoDBからのストリーミングデータ取り込み
  • CloudWatch、CloudTrailとの統合

UltraWarmとCold Storageが「コスト効率の良い読み取り専用ストレージ」として明示的にフィーチャーされていることがわかります。

2-4. 課金モデル

公式の「Pricing for Amazon OpenSearch Service」ページから、

For OpenSearch Service, you pay for each hour of use of an EC2 instance and for the cumulative size of any EBS storage volumes attached to your instances.

OpenSearch Serviceの課金は、EC2インスタンスの利用時間 と アタッチされたEBSボリュームの累積サイズ が中心です。

ただし、以下のトラフィックには課金されません。

  • Multi-AZ構成のAZ間トラフィック
  • シャード割り当て・再バランスのトラフィック
  • UltraWarm/Coldノード ⇔ Amazon S3 間のデータ転送

つまり、コストの大半は「動かしているインスタンスの時間」と「インスタンスに紐づくEBS容量」で決まります。これが「データノードを減らしてUltraWarmへ移す」というコスト最適化が効く理由の前提です。インスタンス時間とEBS容量を減らせば、その分だけ料金が下がるわけです。


3. OpenSearchクラスターの構造を分解する

OpenSearch Serviceでコスト最適化を考えるには、クラスター内部の構造を理解する必要があります。階層は外側から クラスター(=ドメイン) → ノード → インデックス → シャード という入れ子になっています。

3-1. クラスター(=ドメイン)

前章で触れたとおり、ドメインはOpenSearchクラスターと同義です。公式ドキュメントから、

Domains are clusters with the settings, instance types, instance counts, and storage resources that you specify.

ドメイン(=クラスター)は、ユーザーが指定した インスタンスタイプ・インスタンス数・ストレージリソース で構成される単位です。1つのAPIコール、またはコンソールでの数クリックでスケール可能、という柔軟性を持ちます。

3-2. ノード

公式の「What is Amazon OpenSearch Service?」には次の一文があります。

Each EC2 instance in the cluster acts as one OpenSearch Service node.

クラスター内の各EC2インスタンスが1つのノードとして動作する、つまり「ノード=EC2インスタンス1台」です。

ノードには役割の違いがあり、OpenSearch Serviceでは次の種類があります。

ノードの種類 役割
データノード 実データを保持し、検索・取り込みを処理する
専用マスターノード クラスター管理タスク専任、データを保持しない
UltraWarmノード S3バックエンドの読み取り専用ストレージ層
コールドストレージノード 長期アーカイブ用の超低コスト層

専用マスターノード について、公式の「Dedicated master nodes in Amazon OpenSearch Service」ページから引用すると、

Amazon OpenSearch Service uses dedicated master nodes to increase cluster stability. A dedicated master node performs cluster management tasks, but does not hold data or respond to data upload requests.

専用マスターノードは データを保持せず、データアップロード要求にも応答しません。代わりに以下のクラスター管理タスクを担います。

  • クラスター内の全ノードの追跡
  • インデックス数の追跡
  • 各インデックスに属するシャード数の追跡
  • ノードのルーティング情報の維持
  • クラスター状態の更新と全ノードへの伝播
  • ハートビート信号によるデータノードの可用性監視

公式が示す典型構成として、

The following illustration shows an OpenSearch Service domain with 10 instances. Seven of the instances are data nodes and three are dedicated master nodes.

10インスタンス構成のドメインで、7台がデータノード、3台が専用マスターノード(うち1台アクティブ、2台バックアップ待機)という例が挙げられています。

3-3. インデックス

インデックスは ドキュメントを格納する論理的なコンテナ です。RDBで言う「テーブル」に近い概念で、その中に個々のドキュメント(レコード相当)が格納されます。ドキュメントを追加するときのAPIレスポンス例を見ると構造がわかります。

{
  "_index": "more-movies",
  "_type": "_doc",
  "_id": "1",
  "_version": 4,
  "result": "updated",
  "_shards": { "total": 2, "successful": 2, "failed": 0 },
  "_seq_no": 3,
  "_primary_term": 1
}

_index がインデックス名、_id がドキュメントIDを示しています。

公式の「Choosing the number of shards」ページから、

By default in OpenSearch Service, each index is divided into five primary shards and one replica (total of 10 shards).

OpenSearch Serviceでは、インデックスはデフォルトで5つのプライマリシャードと1つのレプリカ(合計10シャード)に分割 されます。これがオープンソース版OpenSearch(デフォルトは1+1=2シャード)とは異なるマネージド独自の挙動です。

3-4. シャード

シャードはインデックスを分割した単位です。AWS公式ブログ「Amazon OpenSearch Service 101: How many shards do I need」から、

An index is a collection of shards, and an index's shard count can affect both indexing and search request efficiency. OpenSearch Service can take in large amounts of data, split it into smaller units called shards, and distribute those shards across a dynamically changing set of instances.

つまり インデックスはシャードの集合体 であり、大量のデータがシャードに分割されてノード群に分散配置される、という構造です。

シャードには2つの役割があります。

A shard is both a unit of storage and a unit of computation.

ストレージの単位かつ計算の単位 です。さらに、

Each shard is an instance of an Apache Lucene index that computes results on the documents it holds.

各シャードはApache Luceneインデックスのインスタンス であり、自分が保持するドキュメントに対して検索を実行します。クエリ時には、各シャードがローカルで計算した結果が集約されて最終応答になります。

シャードには2種類あります。

種類 役割
プライマリシャード データを分割(パーティショニング)する本体
レプリカシャード プライマリシャードの完全なコピー、冗長性確保

ドキュメントがどのシャードに格納されるかは、デフォルトでドキュメントIDのハッシュ値 によってルーティングされます。書き込み時はプライマリシャードが先に受け取り、そこからレプリカに伝播される仕組みです。

そして重要な配置ルールとして、

OpenSearch Service distributes the shards in your indexes to the data nodes in your domain, ensuring that no primary shard and its replicas are placed on the same node.

プライマリシャードとそのレプリカは必ず別のノードに配置されます。これによりノード障害時にも冗長性が保たれます。

3-5. 全体像を図で見る

ここまでの階層関係をMermaidで図示します。AWS公式ドキュメントの定義(ドメイン=クラスター、ノード=EC2インスタンス、各ノード上にシャードが配置される)に基づいて、3種類のノードと2つのインデックスを例に描いています。

図の見方を補足します。

  • 最も外側の枠がドメイン(=クラスター) です。その中に3種類のノードが上から順に配置されています。
  • データノード(青枠、上段)が実データを保持し、検索・取り込みを処理します。各ノード内の小さな箱が シャード で、色違いの2つのインデックス(Index A:緑系 / Index B:紫系)を持つ例です。
  • UltraWarm / Coldノード(アンバー枠、中段)はS3バックエンドの読み取り専用ストレージ層です。古くなったインデックスがここに移行されます。
  • 専用マスターノード(グレー枠、下段)はデータを持たず、クラスター管理(ノード追跡、インデックス追跡、シャード追跡、状態更新)だけを担当します。

シャードの記号は P0, P1, P2 がプライマリシャード、R0, R1, R2 がレプリカシャードです。各インデックスは3つのプライマリシャードに分割され、それぞれに1つずつレプリカを持つ構成(合計6シャード)にしています。

注目してほしいのは、プライマリとそのレプリカが必ず別のノードに配置されている 点です。たとえば Index A の P0 は Node 1 にあり、対応するレプリカ R0 は Node 4 にあります。同様に P1 は Node 2、R1 は Node 5。P2 は Node 3、R2 は Node 6。Index B も同じルールで分散配置されています。これがAWS公式の「プライマリシャードとそのレプリカは同じノードに置かない」というルールの体現で、ノード障害時にもいずれかのコピーが別ノードに残ることで冗長性が保証される仕組みです。


4. ストレージ階層を理解する(Hot / UltraWarm / Cold)

ここからが問題の核心です。OpenSearch Serviceには複数のストレージ階層があり、データの「鮮度」や「使われ方」に応じて使い分けます。

4-1. なぜ階層が必要か

AWS公式の「Tutorial: Automating Index State Management processes」ページから、

OpenSearch Service supports three storage tiers: the default "hot" state for active writing and low-latency analytics, UltraWarm for read-only data up to three petabytes, and cold storage for unlimited long-term archival.

OpenSearch Serviceは 3つのストレージ階層 をサポートしています。

階層 用途 容量上限
Hot アクティブな書き込み、低レイテンシ分析 データノードのEBS容量による
UltraWarm 読み取り専用データ 最大3PB
Cold 長期アーカイブ 上限なし

時系列データを思い浮かべるとイメージしやすいです。今日入ったログは頻繁に検索されるのでHot、1週間経つと参照頻度が下がるのでUltraWarm、半年経ったらColdへ、というように 時間の経過とともに階層を移動させる ことでコストを下げます。

4-2. UltraWarmの特徴と制約

公式の「UltraWarm storage for Amazon OpenSearch Service」ページから、

UltraWarm provides a cost-effective way to store large amounts of read-only data on Amazon OpenSearch Service. Standard data nodes use "hot" storage, which takes the form of instance stores or Amazon EBS volumes attached to each node.

UltraWarmは 大量の読み取り専用データを安価に保管する手段 です。標準のデータノードがEBSやインスタンスストアを使うのに対し、UltraWarmノードは S3をバックエンド に使います。

なぜ安いのか。同じ公式ページから、

As covered in Calculating storage requirements, data in hot storage incurs significant overhead: replicas, Linux reserved space, and OpenSearch Service reserved space. For example, a 20 GiB primary shard with one replica shard requires roughly 58 GiB of hot storage. Because it uses Amazon S3, UltraWarm incurs none of this overhead.

Hotストレージには レプリカ、Linux予約領域、OpenSearch Service予約領域 という大きなオーバーヘッドがあり、20GiBのプライマリシャード(レプリカ1つ)に約58GiBのhotストレージが必要になります。UltraWarmはS3を使うのでこのオーバーヘッドが発生しません。容量効率の桁が違うわけです。

ただし制約もあります。

Because warm indexes are read-only unless you return them to hot storage, UltraWarm is best-suited to immutable data, such as logs.

UltraWarmに移行したインデックスは読み取り専用 で、Hotに戻さない限り書き込みできません。ログなど不変データに最適です。

さらに、

UltraWarm requires OpenSearch or Elasticsearch 6.8 or higher. To use warm storage, domains must have dedicated master nodes.

UltraWarmを使うには 専用マスターノードが必須 という前提条件があります。

問題の選択肢A(「全データノードをUltraWarmに置き換える」)が成立しないのはここに理由があります。データの取り込みはHotストレージのデータノードでしか行えないため、データノードをゼロにしてしまうと新規データを受け取れなくなります。

4-3. インデックスの自動移行(ISM)

階層間の移動を自動化する仕組みが Index State Management (ISM) です。公式の「Index State Management」ページから、

OpenSearch Service supports three unique ISM operations, warm_migration, cold_migration, and cold_delete: If your domain has UltraWarm enabled, the warm_migration action transitions the index to warm storage. If your domain has cold storage enabled, the cold_migration action transitions the index to cold storage, and the cold_delete action deletes the index from cold storage.

ISMには3つの専用アクションがあります。

アクション 動作
warm_migration インデックスをUltraWarmに移行
cold_migration インデックスをColdストレージに移行
cold_delete Coldストレージからインデックスを削除

公式チュートリアル「Automating Index State Management processes」では次のサンプルライフサイクルが示されています。

  • 24時間後に自動スナップショット
  • 2日後にHot → UltraWarmへ移行
  • 30日後にUltraWarm → Coldへ移行
  • 60日後に削除

ISMポリシーのイメージは次のような形のJSONです(簡略版)。

{
  "policy": {
    "description": "Move indexes through storage tiers",
    "default_state": "hot",
    "states": [
      {
        "name": "hot",
        "actions": [],
        "transitions": [
          { "state_name": "warm", "conditions": { "min_index_age": "2d" } }
        ]
      },
      {
        "name": "warm",
        "actions": [{ "warm_migration": {} }],
        "transitions": [
          { "state_name": "cold", "conditions": { "min_index_age": "30d" } }
        ]
      },
      {
        "name": "cold",
        "actions": [{ "cold_migration": {} }],
        "transitions": [
          { "state_name": "delete", "conditions": { "min_index_age": "60d" } }
        ]
      },
      {
        "name": "delete",
        "actions": [{ "cold_delete": {} }]
      }
    ]
  }
}

ポリシーで「何日経ったらどの階層へ移すか」を宣言的に定義し、OpenSearch Serviceが自動で動かしてくれる、という仕組みです。


5. 問題を解いてみる

ここまでの知識で問題を解いてみます。

5-1. 要件の整理

最適化すべきコストは2軸あります。

  1. クラスター内のストレージコスト(データノードのEC2時間とEBS容量で決まる)
  2. S3上のアーカイブコスト(保持し続けるデータの保管料)

守るべき制約は次の2つです。

  • すべての入力データのコピーをアーカイブ保持 する(削除NG)
  • 取り込みと分析は引き続き行えること

5-2. 各選択肢の検討

選択肢A: 全データノードをUltraWarmに置き換え+ロード時にDeep Archive移行

UltraWarmは読み取り専用なので、データノードをゼロにすると新規データを取り込めません。アーキテクチャ上成立しないので不正解です。また、S3にロードした直後にDeep Archiveへ移すと、これから分析に使うデータの取り出しに時間がかかってしまい運用上問題があります。

選択肢B(正解): データノード削減+UltraWarm追加+一定期間後にライフサイクルでDeep Archive

データノードを 減らす(ゼロにはしない)ことで取り込みは継続でき、UltraWarmで大容量を安価に保持できます。S3側もアクティブ期間中はStandardに置き、一定期間後にライフサイクルポリシーでDeep Archiveへ自動移行する、という2層の最適化が成立します。アーカイブ要件も満たします。

選択肢C: UltraWarm追加+コールド追加+S3から削除

「すべての入力データのアーカイブ保持」という要件があるのにS3から削除してしまうので、コンプライアンス要件に反します。コールドストレージの追加もこのシナリオでは不要な複雑化です。

選択肢D: インスタンスバックドデータノード追加+ロード時にDeep Archive移行

インスタンスバックドデータノードを使うとEC2時間とEBS容量のコストが高くなり、UltraWarmの低コスト性を活かせません。またAと同じくDeep Archiveへの即時移行というタイミングの問題があります。

5-3. 正解Bの根拠

選択肢Bのアーキテクチャを図にすると次のようになります。

ポイントは次の3つです。

  1. Hotノードを残しつつUltraWarmで安価に大容量化 → クラスターコストの削減
  2. S3ライフサイクルでアクティブ期間後にDeep Archiveへ自動移行 → アーカイブコストの削減
  3. データ削除をしない → コンプライアンス要件を満たす

加えて、S3ライフサイクルポリシーによる自動化で運用負荷も軽減されます。データの種類ごとにライフサイクルを設計するこの考え方は、OpenSearch Service単体の話を超えて、AWSアーキテクチャ設計の基本パターンと言えます。


6. まとめ

OpenSearch Serviceの構造を整理すると、外側から クラスター(=ドメイン) → ノード(EC2インスタンス) → インデックス → シャード(Luceneインデックスのインスタンス) という階層になっていることがわかりました。コスト最適化の鍵は、データの鮮度に応じて Hot → UltraWarm → Cold の階層を使い分け、さらにクラスターから抜けたデータをS3ライフサイクルでアーカイブ階層へ自動移行することにあります。

SAP試験で問われそうなポイントを最後に整理しておきます。

  • UltraWarmは読み取り専用、書き込み不可 → データノード(Hot)が最低限必要
  • UltraWarmはS3バックエンドなのでhotのオーバーヘッドがない → 大容量を安価に保持可能
  • インデックスのライフサイクル管理はISMで自動化 できる
  • S3側のアーカイブはライフサイクルポリシーでDeep Archiveへ自動移行 がコスト最適
  • コンプライアンス要件で「保持必須」とあるならS3からの削除は選択肢から外す

参考URL(すべてAWS公式)

模擬問題1問から始まった調査でしたが、用語の繋がりが見えると一気に問題が解ける感覚になりますね。同じくSAP対策中の方の参考になれば嬉しいです。次回もお楽しみに!

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?