概要
- GCPのデータ処理系サービスを紹介します。
- IT用語を一切使わずに、ITやクラウドについて本当に何も知らない方向けに説明します。
- ただし過去記事で説明した言葉は使います。
データ処理系サービス
Dataflow
データを分析しやすいように加工するためのサービス。
Apache Beam を使って、どんな加工をするかを書く。
Apache Beam
データ処理の内容を書くための仕組み。
Dataproc
複数のコンピューターに処理を分担させることで、効率よく大量のデータを処理する。
Apache Spark や Hadoop などの既存の仕組みを Google Cloud 上で利用するためのサービス。
Apache Spark
複数のコンピューターに処理を分担させることで、効率よく大量のデータを処理する。
高速に処理できるのが強み。
Apache Hadoop
複数のコンピューターに処理を分担させることで、効率よく大量のデータを処理する。
故障に備えてコピーを持てる仕組みがある。
BigQuery
データ保存系サービスで紹介したもの。
保存した大量のデータを加工したり、集計したりもできる。
Cloud Data Fusion
データ取り込み・移行系サービスで紹介したもの。
データを統合するときに、不要なデータを整理したり、データ形式を変換したりもできる。
Dataform
BigQueryを使ってデータを加工するときに、それを補助するサービス。
どのデータを、どんな順番で、どう加工するかを管理する。