Embulk

embulk-output-bigquery 利用時に rateLimitExceeded エラーの対応

More than 1 year has passed since last update.

Embulk 便利ですよね。BigQuery にデータを入れる時に、 rateLimitExceeded が出たとき

errors:[{:reason=>"rateLimitExceeded", :message=>"Exceeded rate limits: too many table up

date operations for this table. For more information, see https://cloud.google.com/bigquery/troubleshooting-er
rors", :location=>"table.write"}]

の対応として、タスク数を減らして BigQuery への登録 job 自体を少なくすることで、rate limits に引っかかりにくくなります。もちろん、処理時間は長くかかります。

exec:

max_threads: 1
min_output_tasks: 1

Embulk 初心者でそもそも並列処理をどう減らすのかが解らなく、と解決までちょっと時間がかかったのでメモ。


追記

コメントで sonots さんから GCS Bucket のオプション使うと並列でアップロードできるとのこと!