■そもそもビッグデータとは？
ビッグデータとは？ を読みましょう。
ポイントは、素早く結果を出して、改善を繰り返していくことが重要です。
■ビックデータで使えるAWSサービス事例
AWSには、データレイク構築や多様なデータ分析を可能にするサービスが多数あります。
＊データレイクとは？
規模や形式にかかわらず、すべてデータを加工することなく、保存すする単一のデータストアのことです。
| 項目 | 内容 | AWSサービス |
|---|---|---|
| 1.収集 | データを収集し、データレイクへ格納する。 | AWS Snowball→オンプレミスからの物理的なデータ移行が可能。 AWS DM→既存DBからのデータ移行レプリケーション（複製して同期）が可能。 Amazon Kinesis→ビデオなどのストリーミングをデータを連携可能。 AWS IoT→デバイスからのセンサー情報などを連携可能。 |
| 2.保存 | 全期間保存、共通APIで保存する。 | Amazon S3→データレイク |
| 3.処理 | データレイクにアクセスして分析する。 | AWS Glue、Amazon EMR→HandoopやSparkを用いたデータの抽出や変換 Amazon RDS、Amazon Redshift→DWHやデータマートなどSQLによる抽出・集計 Amazon Athena→S3上のデータを直接クエリするアドホックな抽出・集計 |
| 4.可視化 | 人間が活用し易い形に可視化する。 | Amazon QuickSight→BIサービスと連携して可視化が可能 |
AWSは大量なデータ処理への各段階において、必要なサービスが提供される。
構成例
S3 ＋ Athena ＋ QuickSight
