Redash+MySQL(RDS)+Firestore+BigQuery

Redashインストール

RedashのAMIを選択して、private subnetにEC2インスタンスを立ち上げる
https://redash.io/help/open-source/setup#aws

ALB+ACM

HTTPSで運用する場合はredash.example.comの証明書をACMで作成して、ALBに割り当てる。

ALBのターゲットにRedashのEC2インスタンスを設定

Redashセットアップ

https://redash.example.com
にアクセスしてAdminアカウントを作成。

MySQL

レプリカDBが必要だったらPrivate Subnetに作成。

RedashのインスタンスにログインしてMySQLクライアントをインストールして接続を確認

% sudo apt update
% sudo apt install mysql-server mysql-client
% mysql -h xxx.rds.amazonaws.com -P 3306 -u user -p

RedashにAdminユーザにログインしてDataSourceにMySQL(Amazon RDS)を追加。

Firestore

https://extensions.dev/extensions/firebase/firestore-bigquery-export
を使ってFirestoreからBigQueryにデータを連携。

BigQuery

サービスアカウントを作成して、BigQuery閲覧者とBigQueryユーザーの権限を許可して、認証キー(JSON)を作成。

作成した認証ファイルを使って、RedashのDataSourceにBigQueryを追加。

プロジェクトIDはGCP Project IDを設定。

Processing LocationにはBigQueryのロケーションを設定。