この記事で伝えたいこと（ポイント）

Amazon S3に、分析ワークロードに最適化された新しいストレージオプションが登場しました！その名も「Amazon S3 Tables」。S3の優れた耐久性やスケーラビリティを活かしつつ、表形式データのクエリをより効率的に実行できます。

はじめに

この記事では、Amazon S3 Tablesについて解説します。

サービスの説明

Amazon S3 Tablesは、分析ワークロード向けに最適化された、Amazon S3の新しいストレージオプションです。Apache Iceberg形式の表形式データを保存し、Amazon Athena、Amazon EMR、Apache Sparkなどのクエリエンジンで簡単にクエリを実行できます。

S3 Tablesは、S3の耐久性、可用性、スケーラビリティ、およびパフォーマンス特性をそのまま提供します。さらに、クエリのパフォーマンスを最大化し、コストを最小限に抑えるためにストレージを自動的に最適化します。

補足：Apache Iceberg

Apache Icebergは、大規模な分析データセット向けに設計されたオープンソースのテーブル形式です。 ACIDプロパティをサポートし、同時実行性とデータの整合性を確保します。スキーマの進化、タイムトラベル、隠しパーティションなどの機能により、データレイクでの柔軟なデータ管理が可能です。

S3 Tablesでは、以下の概念が重要になります。

テーブルバケット: テーブルを格納するための特別なS3バケットです。
テーブル: テーブルバケット内に作成される、Icebergテーブルです。
名前空間: テーブルバケット内でテーブルを整理するためのものです。

S3 Tablesは、AWS CLIやAWS SDK、S3コンソールから操作できます。テーブルの作成、更新、削除、データの読み込みなどが可能です。また、テーブルのメンテナンス機能も提供されており、古いデータファイルを削除するなどしてストレージを効率的に利用できます。

どのリージョンで利用できるか

Amazon S3 Tablesは、以下のリージョンで利用できます。

US East (Ohio) us-east-2
US East (N. Virginia) us-east-1
US West (Oregon) us-west-2

どんな時に利用できるか

Amazon S3 Tablesは、Amazon Athena、Amazon EMR、Apache Sparkなどのクエリエンジンと連携して使用できます。

補足：Amazon Athena

Amazon Athenaは、標準SQLを使用してAmazon S3のデータを簡単に分析できるインタラクティブなクエリサービスです。

補足：Amazon EMR

Amazon EMRは、Hadoopフレームワークを使用してビッグデータを分散処理するためのマネージドサービスです。

補足：Apache Spark

Apache Sparkは、大規模データ処理のための高速で汎用性の高いクラスターコンピューティングシステムです。

まとめ

Amazon S3 Tablesは、S3の優れた特性を活かしつつ、分析ワークロードに最適化されたストレージオプションです。Apache Iceberg形式の表形式データを効率的に保存し、クエリを実行できます。

参考文献

New – Amazon S3 Tables – storage optimized for analytics workloads - AWS
- https://aws.amazon.com/jp/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/
What is Apache Iceberg? - AWS
- https://aws.amazon.com/jp/what-is/apache-iceberg/
S3 Tables のリージョンとクォータ - Amazon S3
- https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-regions-quotas.html