embulk-output-bigquery 利用時に rateLimitExceeded エラーの対応

Embulk 便利ですよね。BigQuery にデータを入れる時に、 rateLimitExceeded が出たとき

errors:[{:reason=>"rateLimitExceeded", :message=>"Exceeded rate limits: too many table up
date operations for this table. For more information, see https://cloud.google.com/bigquery/troubleshooting-er
rors", :location=>"table.write"}]

の対応として、タスク数を減らして BigQuery への登録 job 自体を少なくすることで、rate limits に引っかかりにくくなります。もちろん、処理時間は長くかかります。

exec:
  max_threads: 1
  min_output_tasks: 1 

Embulk 初心者でそもそも並列処理をどう減らすのかが解らなく、と解決までちょっと時間がかかったのでメモ。

• デフォルト実行環境の LocalExecutor の流れについては、sonots さんの記事が解りやすかったです。
  • https://qiita.com/sonots/items/4445467ddb5cea0622a5

追記

コメントで sonots さんから GCS Bucket のオプション使うと並列でアップロードできるとのこと!

• https://github.com/embulk/embulk-output-bigquery#gcs-bucket