Pub/Subを活用したBigQueryへのデータ連携 Pub/Sub設定編

Last updated at 2025-12-12Posted at 2025-12-12

laravelアプリケーションからPub/Subを経由し、BigQueryのテーブルにデータを入れるまでの実装に試行錯誤したため、備忘録として残します!!

概要

構成: Laravel (Publisher) -> Pub/Sub Topic -> Pub/Sub Subscription (BigQuery Write) -> BigQuery Table
目的: リアルタイムに近い速度でBQへデータを蓄積する。

データの格納先となるデータセットおよびテーブルを作成し、Pub/Subからの書き込み権限を設定します。

以下のコンソールURLより、対象プロジェクトにてデータセットとテーブルを作成します。

データセット、テーブルの作成については割愛しますが、テーブル作成時はPub/Subから送信するデータのJSON構造に合わせたスキーマ定義が必要です。

Pub/Subサービス自体がBigQueryへデータを書き込めるように、Google管理のサービスアカウント（Pub/Sub サービスエージェント）に対して権限を付与します。

作成したデータセットの「共有（権限）」設定を開く。
プリンシパルを追加 で以下のアドレスを入力する。
- service-<<プロジェクト番号>>@gcp-sa-pubsub.iam.gserviceaccount.com
- ※ <<プロジェクト番号>> はダッシュボード等で確認可能な数字のID
以下の2つのロールを付与する。
- BigQuery データ編集者 - データのインサート用
- BigQuery メタデータ閲覧者 - テーブルスキーマの読み取り用

アプリケーションがPub/Subへメッセージを送信（Publish）するための権限を作成します。

IAM管理画面より、Pub/Sub投稿用のサービスアカウントを作成します。

URL: IAM サービスアカウント管理
手順:
1. 「サービスアカウントを作成」をクリック。
2. アカウント名を入力（例: pubsub-publisher-sa）。
3. ロールに Pub/Sub パブリッシャー (roles/pubsub.publisher) を付与して保存。

セキュリティ上の理由から、発行したサービスアカウントキーは直接コード管理せず、AWSのSecret Managerを利用しました。
キーの管理方法は使用している環境に合わせて変更してください。

Note
Secret Managerを使用する場合の対応内容は下記

作成したSAのキー（JSON）を発行する。

Secret Manager に、当該キーをシークレットとして登録する。

アプリケーション（ECS/Fargate等）から参照可能な設定を行う。

データの受け口となるトピックを作成します。

URL: Pub/Sub トピック一覧
手順:
1. 「トピックを作成」をクリック。
2. トピックIDを入力（例: sample-topic）。
3. 「デフォルトのサブスクリプションを追加する」のチェックは外す。

トピックに来たデータをBigQueryへ流すためのサブスクリプションを作成します。

他は全てデフォルトのまま

他のブロパティについては公式リファレンスを参照いただければと思います。

設定が完了したら、GCPコンソール上で疎通確認を行います。

テスト用のJSONデータを入力して「パブリッシュ」を実行。

{"user_id": 1, "name": "サンプル太郎", "created_at": "2025-12-12 10:00:00"}

実行後、BQの該当テーブルにレコードがinsertされていれば、GCP側での設定は終了です。

Laravelからメッセージをパブリッシュする編へ続く。