Posted at

BigQuery からCloud Storageへのデータのエクスポート

More than 3 years have passed since last update.

BigQuery からCloud Storageへエクスポートする。

BigQueryからは直接ダウンロードできない?しにくい?

ハマったのでメモ

Google_BigQuery.png

Google_BigQuery1.png


割り当てのポリシー

BigQuery からのデータのエクスポートには、次の制限が適用されます。

1 日あたりの制限: 1 日あたり 1,000 回のエクスポート、最大 10 TB

複数ワイルドカード URI の制限: 1 回のエクスポートで 500 URI


エクスポートURI URL


jsonはファイル容量が大きいのでgzがおすすめ

-単一の URI


単一のファイルにデータをエクスポートする場合は、単一の URI を使用します。ほとんどの場合、エクスポートされるデータは BigQuery で制限されている 1 GB というファイルあたりの最大値よりも小さいため、このオプションは最も一般的なユースケースです。


プロパティの定義:

['gs://my-bucket/file-name.json']


my-bucketは

ストレージ_ブラウザ_-_hirokita.png

作成されるファイル:

gs://my-bucket/file-name.json

-単一のワイルドカード URI

エクスポートされるデータが BigQuery で制限されている 1 GB というファイルあたりの最大値よりも大きくなりそうな場合は、単一のワイルドカード URI を使用します。データは、指定したパターンに基づいて複数のファイルに分割されます。


プロパティの定義:

['gs://my-bucket/file-name-*.json']

作成されるファイル:

gs://my-bucket/file-name-000000000000.json

gs://my-bucket/file-name-000000000001.json

gs://my-bucket/file-name-000000000002.json

...