データ分析基盤
初学者レベルの段階で、どんなデータ分析基盤の組み合わせがあるのか、利点、欠点をまとめてみました。
というか、いろんなものがありすぎで目が点になりますね。初心者がしらべたものなので、間違い等あるかもしれません。個人学習メモです。
主な組み合わせとその特徴
Data Engineering Studyを最近視聴しているのでTROCCOにかたよっています。。。
Google Cloud Storage + TROCCO + BigQuery + dbt + BI
- 利点: BigQueryのサーバーレスアーキテクチャは、リソースプロビジョニングを自動で処理し、計算のスケーラビリティを設定する必要がなく、使用料によって料金がかかるので始めやすい。また、機械学習機能がしやすい。
- 欠点: ローカル環境や他のクラウドプラットフォームでの利用が制限され、SQL知識が必要です。
AWS S3 + TROCCO(AWS Glue) + BigQuery + dbt + BI
- 利点: AWS S3とAWS Glueの統合により、ETLプロセスを簡単に自動化できます。
- 欠点: 異なるクラウドプロバイダー間でのデータ転送が必要になり、追加の設定やコストが発生する。
AWS S3 + TROCCO(AWS Glue) + Redshift + dbt + BI
- 利点: Redshiftは列指向データベースを使用し、データ圧縮によりクエリパフォーマンスがよい。
- 欠点: クラスタの設定や拡張に関する知識が必要であり、運用負荷が増加する。
AWS S3 + TROCCO(AWS Glue) + Snowflake + dbt + BI
- 利点: Snowflakeはマルチクラウド環境でのデータウェアハウス構築に適しており、柔軟なスケーリングができる。
- 欠点: 複雑なデータ変換や分析のニーズに対応するために、ユーザーが直接クエリ処理の挙動を細かく制御することが困難になることがある。
初学者が疑問に思う点
Q1: データレイクもDHW製品上に構築するのがいいか？
- A1: 構造化データはDWH製品上で管理することが推奨されますが、非構造化データ（画像・動画など）はCloud Storageなどのオブジェクトストレージに置くのが一般的です。
Q2: データ分析のためにはどのETL/ELTツールが最適ですか？
- A2: TROCCOなのど、専用ELTツールを使用する場合の利点には、特化した機能やシンプルな統合プロセスが含まれますが、コストがかかることや特定のプラットフォームに依存する可能性が欠点です。一方、クラウドサービスを使ったELTでは、広範なクラウドエコシステムへのアクセスやスケーラビリティが利点となりますが、カスタマイズの柔軟性が制限される場合があります。選択は、プロジェクトのニーズ、コスト、使いやすさなどを総合的に考慮する必要があり。dbtはデータ変換のところですが、デファクトスタンダードになりつつあるとどこかで見ました。
（dbtについて）
dbt（Data Build Tool）は、SQLを使用してデータを変換し、データエンジニアリングのタスクをデータアナリストが容易に実行できるようにするツールで、SQL文を使ってデータウェアハウス内でデータの変換を行い、データ品質の自動テストを実施できること、また、バージョン管理などが利点。
Q3: いろんな組み合わせがあり、初期と構成と将来的な構成って変更できる？
（最初はクイックスタートできるもの、ユーザーフレンドリーなものがいいけど、データ量が増えたり、接続ソースや、ユーザーが増えたりするので）
多くのデータ分析プラットフォームは、初期構成から将来的なニーズに合わせて構成を変更する柔軟性を提供しています。最初は使いやすく、迅速に開始できるツールを選択し、プロジェクトが成長してデータ量が増加したり、接続するデータソースやユーザーが増えたりした場合には、よりスケーラブルで高度な機能を持つサービスに移行することが可能です。この過程で、データパイプラインや分析の基盤を再構築することなく、効率的に拡張やカスタマイズが行えます。こんなことが書かれていたが、ツール自体をかえるのはそれなりに大変そう？
まとめ
この記事では、データ分析基盤構築に関する主な組み合わせとそれぞれのツールの利点および欠点をまとめてみました。また、初学者（自分）が持った疑問に対する答えを書いてみました。
データ分析プロジェクトを成功させるためには、プロジェクトのニーズに最適なツールとサービスを選択し、それらを適切に組み合わせて使用することが重要になりそう。BigQuery、Redshift、Snowflakeなどのデータウェアハウスサービスの選択は、特定の要件や目標に基づいて検討する必要があります。個人的には最初はクイックスタートでトライして、そこから広げるのが良いと考えていますが途中で構成をガラッとかえるのはむつかしいかもしれません。