BigQuery Data Transfer Serviceを使用してS3からBigqueryへのデータロードを行います。

BigQuery Data Transfer Serviceの概要

あらかじめ設定されたスケジュールに基づき、BigQueryへのデータの移動を自動化するマネージドサービスです。
今回は S3からBigqueryへデータロードするため、BigQuery Data Transfer Service for Amazon S3を使用して、S3から BigQueryへの定期的な読み込みジョブを自動的にスケジュールし、管理します。

なお、BigQuery Data Transfer Serviceのジョブ実行自体には料金はかからず、S3からの上り(AWS)、BigQueryのストレージとクエリの標準料金のみ適用されます。

アクセス方法は以下です。
- Cloud Console
- bq コマンドラインツール
- BigQuery Data Transfer Service API

制約事項

BigQuery Data Transfer Service for S3では、以下の形式のデータの読み込みをサポートしています。
- カンマ区切り値（CSV)
- JSON（改行区切り)
- Avro
- Parquet
- ORC
データソースのS3のURIは最上位のバケット名のみが必須となり、配下のフォルダ名は任意で指定可能です。

例えば
最上位のバケット名 s3://load-bigquery を指定した場合、配下にあるファイルは全て転送対象となります。
s3://load-bigquery/folder1 を指定した場合、folder1 配下のファイルのみ転送対象となります。

URIにはワイルドカードを使用出来ます。

例えば s3://load-bigquery/folder1/*.csv を転送対象と指定した場合、s3://load-bigquery/folder1/test.csv および、s3://load-bigquery/folder1/folder2/prod.csv は転送対象となります。

BigQuery Data Transfer Serviceでは、BigQueryの読み込みジョブに対して以下の上限事項があります。
- 読み込みジョブの転送実行ごとの最大サイズ 15 TB
- Amazon S3 URIに 0～1 個のワイルドカードを使用する場合の転送実行ごとの最大ファイル数 10,000,000 ファイル
- Amazon S3 URIに複数のワイルドカードを使用する場合の転送実行ごとの最大ファイル数 10,000 ファイル
URI と宛先テーブルはどちらも run_time / run_date というパラメータの利用が可能です。

例えば、日付毎に格納されたバケットからデータを読み込めます。
URI内のcsvは、今日の日付で分割されたテーブルに転送されます。
更新転送では、この構成によって、最後の読み込み以降に追加されたファイルが転送対象になり特定のパーティションに追加されます。

利用箇所	値
抽出元 URI	s3://load-bigquery/*.csv
パラメータ化された宛先テーブル名	table${run_time \| "%Y%m%d"}
評価された宛先テーブル名	table$20211007

使用順序のまとめ

S3

S3側は以下の準備が必要です。
- 対象バケットから転送を呼び出しを行う際に使用する IAMアクセスキーIDの準備
- 対象バケットから転送を呼び出しを行う際に使用するシークレットアクセスキーの準備
- 対象のIAMから対象バケットに対して少なくとも AWS管理ポリシー AmazonS3ReadOnlyAccessの設定
- 転送するS3バケットURIの用意
AWS側に特段要件が無い場合、以下のようにバケットポリシー上で特定のIAMユーザーのみの操作を許可する事でアクセス権限を最小限に抑える事が可能です。

bucket-policy.json


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal":{
             "AWS": "arn:aws:iam::account-id:user/xxx"
             },
            "Action":"s3:*",
            "Resource": [
                "arn:aws:s3:::account-id-bucket",
                "arn:aws:s3:::account-id-bucket/*"
            ]
        },
        {
            "Effect": "Deny",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::account-id-bucket/*"
            ],
            "Condition": {
                "StringNotEquals": {
                    "aws:username": "xxxx"
                }
            }
        }
    ]
}