BigQuery Data Transfer Serviceで高頻度でデータ連携を行う方法

BigQuery Data Transfer Serviceを使うとS3などの外部データソースからBigQueryにデータ転送を簡単に行うことができます。
しかし、転送間隔は最短でも24時間ですので、これ以上の高頻度でデータ転送を行う場合には工夫が必要です。

この記事では1日に複数回の転送をBigQuery Data Transfer Serviceで行う設定方法を紹介します。

1つの転送設定だけでは1日に1回しか転送できないのであれば、転送設定を複数個作れば高頻度での転送を行えます。
例えば1日に2回の転送を行いたい場合には、以下のようにします。
scheduleとdisplay_name以外は完全に共通の転送設定を2つ作成します。

resource "google_bigquery_data_transfer_config" "s3-transfer-1" {
  display_name           = "表示名"
  data_source_id         = "amazon_s3"
  schedule               = "every day 00:00"
  destination_dataset_id = "転送先データセット"
  params = {
    ...
  }
}

resource "google_bigquery_data_transfer_config" "s3-transfer-2" {
  display_name           = "表示名"
  data_source_id         = "amazon_s3"
  schedule               = "every day 12:00"
  destination_dataset_id = "転送先データセット"
  params = {
    ...
  }
}