はじめに
ビックデータ分析基盤を構築するのは、特に予算が限られている企業にとっては大きな課題です。しかし、うまくオープンソースソフトウェア（OSS）を活用することで、低コストで強力なデータ分析基盤を構築することができます。ここでは、BigQueryとVMリソースを中心に、Terraform、Airbyte、dbt core、Dagster、Redashを活用して、低コストなデータ分析基盤を構築する方法を紹介します。
1. なぜBigQueryとVMインスタンスの料金は許容しなければならないか
BigQueryは、Google Cloudの強力なデータウェアハウスサービスで、大量のデータを高速にクエリできます。そのためビックデータ処理においては必要不可欠なリソースであると言えます。また様々なデータウェアハウスがある中、BigQueryを選択する理由は以下の通りです。
- スケーラビリティ: 大規模なデータセットでも高速にクエリを実行可能。
- コスト効率: 大量のデータを格納しつつ、クエリごとに料金が発生するため、使用量に応じた支払いが可能。
- 統合性: 多くのデータソースとシームレスに統合できる。
さらに、VMインスタンスは、ローカル環境では処理できない大規模な機械学習モデル開発や高速な計算処理を行うためには必要となるリソースです。特にGoogle CloudのVMインスタンスは扱いやすく、TerraformでBigQueryのリソースと一緒に立ち上げてしまうと良いでしょう。
これらのサービスは最低限のコストで高い性能を提供するため、低予算でも利用しやすい選択肢です。
2. オープンソースソフトウェア（OSS）のメリット
OSSを活用することで、コストを抑えながら柔軟でスケーラブルなデータ分析基盤を構築できます。また、OSSは将来的に異なるクラウド環境での利用にも適しているため、クラウド環境の変更があった場合でもスムーズに移行できます。例えばDWHをBigQueryからSnowflakeへ移行したいといったケースがあった場合でも、大きく運用方法を変えずに移行することが可能になります。
- コスト削減: ライセンス費用が不要であるため、基本的には無料で利用することができる。
- コミュニティサポート: 大規模なユーザーコミュニティによるサポート。
- 柔軟性と移行性: 異なるクラウド環境やオンプレミス環境への適応が容易。
3. インフラのセットアップ：Terraform
Terraformは、インフラをコードとして管理するツールで、GCPリソースのプロビジョニングを自動化します。これにより、手動設定の手間を省き、一貫性のある環境を構築できます。またGithub Actionsと合わせ使うことで、CI/CDを意識した基盤設計が可能になります。
- 利点: インフラの再現性、変更管理の簡易化、複数環境での一貫性
- 使い方: GCPプロジェクト、BigQueryデータセット、VMインスタンスの作成
4. データ取り込み：Airbyte
AirbyteはOSSのデータ統合ツールで、様々なデータソースからデータを取り込み、ターゲットデータベースに送信できます。小規模のデータ基盤やテストでの使用は、ローカル環境で問題ありませんが、規模の大きなデータを扱う場合にはVMインスタンス上にデプロイして使用することをおすすめします。
- 利点: 多様なデータソースのサポート、カスタムコネクタの作成が容易
- 使い方: Google Sheetsなど様々なデータソースからCloudStorage、BigQueryデータレイクへのデータ取り込み
5. データ変換：dbt core と Dagster
データ変換には、dbt coreとDagsterを使用します。dbt coreはSQLベースのデータ変換ツールで、Dagsterはデータパイプラインのオーケストレーションツールです。OSSのオーケストレーションツール関してはAirflowやDigDagなど優秀なツールが様々ありますが、個人的には、気軽な定期実行やテスト機能が充実しているDagstarが好みです。
- 利点: データモデルのバージョン管理、テスト自動化、複雑なパイプラインの管理
- 使い方: dbtでデータモデルを定義し、Dagsterで実行とスケジューリング
6. 可視化：Redash
Redashはデータのクエリと可視化を簡単に行えるOSSで、複数のデータソースを統合して視覚化できます。
利用の注意点としては、集計などの計算処理をRedash側で多く行うと、動作が重くなってしまう場合があるため、BigQuery側に集計済みの参照用テーブルを設置して、Redashを表示専用のような形で使うと良いと思います。
- 利点: インタラクティブなダッシュボード作成、チームでの共有が簡単
- 使い方: VMインスタンス上にデプロイ、BigQueryと接続してクエリを作成し、ダッシュボードに追加して使用します。
まとめ
以上が、低コストなデータ分析基盤の構築方法です。BigQueryとVMリソースを活用しつつ、Terraform、Airbyte、dbt core、Dagster、RedashといったOSSを組み合わせることで、強力でコスト効率の高いデータ分析基盤を構築できます。OSSの利点を最大限に活用し、将来的に異なるクラウド環境での運用にも柔軟に対応できる基盤を整えましょう。ぜひ参考にして、あなた自身のデータ分析基盤を作り上げてみてください。