はじめに
GCP の Associate Data Practitioner と AWS の DEA-C01（Data Engineer - Associate）、
両方の資格を取得する過程で、「あ、これって GCP の〇〇と同じ役割だ」と
気づく瞬間が何度もありました。
この記事では、GCP と AWS のデータ系サービスの対応関係を全体像として整理します。
今後、各サービスペアを深掘りしたシリーズ記事も書いていく予定です。
対象読者
- GCP・AWS どちらか一方のデータ系資格を持ち、もう一方も学びたい人
- GCP メインで AWS も触り始めた（またはその逆の）データエンジニア
- クラウド横断でデータ基盤を設計・比較したいエンジニア
GCP × AWS データサービス 対応表
ストレージ層
| 役割 | GCP | AWS |
|---|---|---|
| オブジェクトストレージ | Cloud Storage (GCS) | S3 |
| データレイク構成 | GCS + Dataplex | S3 + Lake Formation |
データウェアハウス層
| 役割 | GCP | AWS |
|---|---|---|
| サーバーレス DWH | BigQuery | Redshift Serverless |
| プロビジョニング型 DWH | — | Redshift（クラスター） |
ETL / 変換層
| 役割 | GCP | AWS |
|---|---|---|
| SQL ベース変換 | Dataform | Glue ETL（または dbt on Glue） |
| ストリーム処理 | Dataflow | Kinesis Data Streams + Lambda |
| バッチ処理（フルマネージド） | Dataflow | Glue |
| 大規模分散処理 | Dataproc | EMR |
サーバーレス / イベント処理層
| 役割 | GCP | AWS |
|---|---|---|
| サーバーレス関数 | Cloud Functions | Lambda |
パイプライン / オーケストレーション層
| 役割 | GCP | AWS |
|---|---|---|
| ワークフロー管理 | Cloud Composer (Airflow) | MWAA (Managed Airflow) |
| シンプルなジョブ管理 | Cloud Workflows | Step Functions |
ストリーミング / メッセージング層
| 役割 | GCP | AWS |
|---|---|---|
| メッセージキュー | Pub/Sub | Kinesis Data Streams / SQS |
| ストリーム取り込み | Pub/Sub + Dataflow | Kinesis Firehose |
データカタログ / ガバナンス層
| 役割 | GCP | AWS |
|---|---|---|
| データカタログ | Dataplex / Data Catalog | Glue Data Catalog |
| アクセス制御・ガバナンス | Dataplex / IAM | Lake Formation |
データ転送 / 移行層
| 役割 | GCP | AWS |
|---|---|---|
| DB マイグレーション | Database Migration Service | DMS |
| 外部データ取り込み | Storage Transfer Service | DataSync |
設計思想の違い：GCP vs AWS
対応表を作ってみて感じた、根本的な思想の違いがあると思います。
GCP：「統合・シンプル」志向
BigQuery を中心に、サービス同士が自然につながる設計になっています。
Dataform も BigQuery ネイティブで動くため、スタック全体がコンパクトにまとまりやすい。
「少ないサービスで完結させる」という方向性を感じます。
AWS：「選択肢・柔軟性」志向
同じ役割に複数のサービスが存在する（Glue / EMR / Athena など）。
ユースケースや規模に応じて最適解を選べる反面、
「どれを使えばいいか」の判断コストが高い。
DEA 試験でも「この場合はどのサービスを選ぶか」という問題が多かったです。
このシリーズの今後の予定
各サービスペアを深掘りした記事を順次公開予定：
- GCS vs S3 ——オブジェクトストレージの基本と細かい違い
- BigQuery vs Redshift ——DWH の設計思想とパフォーマンスチューニング
- Dataform vs Glue ETL ——SQL 変換ツールとしての使い勝手と違い
- Cloud Functions vs Lambda ——サーバーレス関数のユースケースと使い分け
- Pub/Sub vs Kinesis（予定）
- Cloud Composer vs MWAA（予定）
おわりに
GCP と AWS、どちらが「正解」というわけではなく、それぞれに強みと設計思想があります。
両方を学ぶことで、クラウドに依存しない「データ基盤の本質」が見えてくる気がしました。
このシリーズが、マルチクラウド環境で働くエンジニアや
資格勉強中の方の参考になれば嬉しいです。