2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AWSの「Redshift」「Athena」「EMR」を比較して違いの理解を深めたいっという備忘録

Last updated at Posted at 2024-01-01

Amazon Redshift

■用途
データウェアハウス(Data Warehouse)として使用されることが主な目的です。大規模なデータセットの分析クエリやBI(Business Intelligence)ツールからのアクセスに適しています。

■アーキテクチャ
カラムベースのストアエンジンを使用しており、大容量のデータを高速に処理できるように最適化されています。

■データの格納
データは列単位で格納され、クエリパフォーマンスを向上させることが可能です。

■データのロード
大規模なデータセットを一括でロードすることができます。

特徴
データウェアハウスとして設計され、高性能な分析用途に特化しています。専用のクラスタを使用し、大量のデータを高速に処理できます。


できること

大規模なデータセットを高速に処理し、データウェアハウスとして使用可能。
カラムベースの格納エンジンを使用してクエリのパフォーマンスを最適化。
テーブル結合、集計、窓関数などの高度なSQL操作が可能。
データの圧縮、ソートキー、分散キーなどの最適化オプションが提供される。

できないこと:

サーバーレスな形態ではなく、専用のクラスタが必要。
リアルタイムデータ処理には向いていない。
クエリの実行時にリソースが動的に拡張されるわけではない。

Amazon Athena

■用途
サーバーレスな形態のクエリサービスで、S3に保存されたデータに対してSQLクエリを実行することが可能です。データ湧き上がり型の分析に適しています。

■アーキテクチャ
クエリの際にリソースが自動的に割り当てられ、必要なときにのみコストが発生します。

■データの格納
主にAmazon S3にデータを格納し、Athenaはそこからデータをクエリします。

■データのロード
データはS3に保存され、Athenaはそのデータをクエリ対象として利用します。

特徴
サーバーレスなSQLクエリサービスであり、クエリの実行時にのみリソースが割り当てられるため、管理やセットアップが簡単です。S3に格納されたデータに対して即座にクエリを実行できます。


できること

サーバーレスな形態で、SQLクエリをS3上のデータに対して即座に実行可能。
データのパーティショニングやフォーマットの変更などの設定が可能。
複雑なETLプロセスなしにデータにアクセス可能。
クエリの実行時にのみコストが発生するため、コスト効率が高い。

できないこと

リアルタイム処理には向いていない。
大規模なデータセットの高速な処理にはRedshiftほど効率的ではない。
複雑な分析やデータ変換は、通常は他のツールが必要。

Amazon EMR (Elastic MapReduce)

■用途
大規模なデータセットを処理するための分散処理フレームワークです。Hadoop、Spark、Hiveなどのエコシステムをサポートしており、異様な処理や分析が可能です。

■アーキテクチャ
分散処理クラスタを構築し、複数のノードでタスクを実行します。異様な処理や機械学習など、柔軟な処理が可能です。

■データの格納
HDFS(Hadoop Distributed File System)などを使用してデータを格納し、処理対象として利用します。

■データのロード
EMRクラスタを使用してデータを処理および分析します。

特徴
分散処理フレームワークを提供し、Hadoop、Spark、Hiveなどのエコシステムをサポートします。柔軟性が高く、異様な処理や複雑なデータ操作が可能です。分散処理クラスタを使用して、大規模なデータセットの処理が可能です。


できること

大規模データセットの分散処理と異様な処理が可能。
Hadoop、Spark、Hiveなどのエコシステムをサポート。
機械学習、グラフ分析、リアルタイム処理など多岐にわたるタスクに対応。

できないこと

サーバーレスな形態ではなく、クラスタの管理が必要。
データの格納にはHDFSなどの分散ファイルシステムが必要。
単純なSQLクエリ処理にはRedshiftやAthenaほど効率的ではない。
各サービスは異なる用途に特化しており、プロジェクトのニーズや要件に応じて最適なサービスを選択することが重要です。

間違ってる、ここはこうじゃない?等々ございましたらご指摘いただけますと幸いです。

2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?