BigQuery からCloud Storageへのデータのエクスポート

BigQuery からCloud Storageへエクスポートする。
BigQueryからは直接ダウンロードできない？しにくい？
ハマったのでメモ

割り当てのポリシー

BigQuery からのデータのエクスポートには、次の制限が適用されます。

1 日あたりの制限: 1 日あたり 1,000 回のエクスポート、最大 10 TB
複数ワイルドカード URI の制限: 1 回のエクスポートで 500 URI

エクスポートURI URL

jsonはファイル容量が大きいのでgzがおすすめ

-単一の URI

単一のファイルにデータをエクスポートする場合は、単一の URI を使用します。ほとんどの場合、エクスポートされるデータは BigQuery で制限されている 1 GB というファイルあたりの最大値よりも小さいため、このオプションは最も一般的なユースケースです。

プロパティの定義:

['gs://my-bucket/file-name.json']

my-bucketは

作成されるファイル:

gs://my-bucket/file-name.json

-単一のワイルドカード URI
エクスポートされるデータが BigQuery で制限されている 1 GB というファイルあたりの最大値よりも大きくなりそうな場合は、単一のワイルドカード URI を使用します。データは、指定したパターンに基づいて複数のファイルに分割されます。

プロパティの定義:

['gs://my-bucket/file-name-*.json']

作成されるファイル:

gs://my-bucket/file-name-000000000000.json
gs://my-bucket/file-name-000000000001.json
gs://my-bucket/file-name-000000000002.json
...