More than 1 year has passed since last update.

データ分析基盤の調査及び検証_part.1

Last updated at 2022-07-14Posted at 2022-07-14

データ分析基盤の調査及びまとめ

データ分析基盤を構築するのに紆余曲折あったので、まとめていく
Part.1ではOSSツール用いて開発したが、途中で開発を中断した事について書く
Part.2では構築した際に用いたツールについて記載予定

分析基盤が存在していなく、データ分析やAIの開発はローカル環境で実施しており、作業が非効率となっていた

データ分析基盤を作る事で作業のスピードを上げ、DX推進を図る

ざっくりとした構成図は以下の図の通り
データレイク・DWH・データマートの3層構造でデータ活用を予定

データ分析基盤を構築する上で、以下3点を調査・検討する必要がある

①：クラウド(DWH)の選定
②：ETLツールの選定
③：ワークフローの選定

分析の要となるDWHを決める必要がある
様々な記事を見る限りどうやらRedShiftとBigQueryが2強らしい(snowflakeは記事が少なかった...)

BigQueryのシンプルなUI/UXに惹かれて、BigQueryを採用

DWHは決まったが、データを移送するに何を使えば良いのか決まっていなかったので、洗い出した

提供形態	ツール名	コネクタの機能性	デバックのし易さ
オープンソース	Embulk,flutend,Apache Sqoop	△	◯
有償製品	DataSpider,ASTERIA,Talend	◯	✕
クラウド	AWS Glue,AWS DMS,GCP CDF,DCP DMS	◯	△

有償ツールはどれも定額かつ高額で、作業に対して効果を出せないと感じていたのでOSSを選定
OSSの中でも多くの企業で採用されている？ Embulkを採用

Embulk単体だけでは定期的データを持って来れないので、Embulkを動かすワークフローが必要

ツール名	概要	言語
Apache Airflow (OSS)	定期的(日次)に動かすデータパイプラインの記述に特化	Python
Luigi (OSS)	Pythonで書かれたデータフロー制御フレームワーク	Python
Digdag (OSS)	yamlでシンプルにワークフローを定義	yaml
Prefect(OSS)	Luigiの上位互換	Python
Argo (OSS)	ジョブをk8s上で動かすよう汎用的に記述	yaml
Kubeflow (OSS)	パイプラインを定義しそれらを管理、統合するためのツール	Python
Cloud Composer (GCP)	Apache Airflowと同様	yaml