BigQuery からCloud Storageへエクスポートする。
BigQueryからは直接ダウンロードできない？しにくい？
ハマったのでメモ
#割り当てのポリシー
BigQuery からのデータのエクスポートには、次の制限が適用されます。
1 日あたりの制限: 1 日あたり 1,000 回のエクスポート、最大 10 TB
複数ワイルドカード URI の制限: 1 回のエクスポートで 500 URI
#エクスポートURI URL
##jsonはファイル容量が大きいのでgzがおすすめ
-単一の URI
単一のファイルにデータをエクスポートする場合は、単一の URI を使用します。ほとんどの場合、エクスポートされるデータは BigQuery で制限されている 1 GB というファイルあたりの最大値よりも小さいため、このオプションは最も一般的なユースケースです。
プロパティの定義:
['gs://my-bucket/file-name.json']
###my-bucketは
作成されるファイル:
gs://my-bucket/file-name.json
-単一のワイルドカード URI
エクスポートされるデータが BigQuery で制限されている 1 GB というファイルあたりの最大値よりも大きくなりそうな場合は、単一のワイルドカード URI を使用します。データは、指定したパターンに基づいて複数のファイルに分割されます。
プロパティの定義:
['gs://my-bucket/file-name-*.json']
作成されるファイル:
gs://my-bucket/file-name-000000000000.json
gs://my-bucket/file-name-000000000001.json
gs://my-bucket/file-name-000000000002.json
...