s3_waitについて

s3_waitについて(部分意訳・要約)
https://docs.digdag.io/operators/s3_wait.html

s3_waitとは

s3にファイルが置かれるのを待つdigdagオペレーター

オペレーター表記

s3_wait>

ポイント

• 環境変数の登録が前提条件
• ファイルが作成されてから演算子がそれを検出するのはラグがある
• 待機中はワークフローの実行は起動中のまま

環境変数

s3を利用するのでアクセスキーとシークレットキーは必須
前提として、下記のように登録・指定が必要

# 例
## ローカルで実行する場合
digdag secrets --local --set aws.access_key_id=''
digdag secrets --local --set aws.secret_access_key=''

## digdagサーバー上で実行する場合
digdag secrets --project --set aws.access_key_id=''
digdag secrets --project プロジェクト名 --set aws.secret_access_key=''

embulk.ymlに変数展開

in:
  type: s3
  bucket: バケット名
  access_key_id: ${secret:aws.access_key_id}
  secret_access_key: ${secret:aws.secret_access_key}
  report_dir: 対象ファイルまでのパス or ディレクトリ
　・
　・
　・

パラメータの設定方法

+タスク名:
  s3_wait>: バケットディレクトリ or ファイル

雑感

s3ファイル配置の遅延幅と、digdagの実行間隔によって使用すべきか否かは変わりそう
遅延幅が一時間くらいなら使用しても良さそうだが、それ以上だとずっとワークフローが起動中になってしまうので、digdagの実行間隔で解決した方が良さそう