概要についてはこちら
https://qiita.com/dich1/items/feb9354378862d7c7e94
アーキテクチャページついて(部分意訳・要約)
http://docs.digdag.io/architecture.html
定義
タスク
1バッチのこと
オペレーター
処理の命令のこと
ワークフロー
複数バッチが実行される、1ファイルのこと
プロジェクト
.digのファイル名と同じディレクトリにある他のファイル
実行環境
下記3つでの実行が可能
- ローカル
- digdagサーバー
- dockerコンテナ
ワークフローエンジンについて
様々な手動バッチ操作を、オペレータープラグインによって自動化する
- タスクが失敗すると警告を通知する
- ワークフローが想定時間内に終了しない場合、通知をする
- 定義を見直す時は、鳥瞰図をイメージしながら詳細を追うとデバッグや確認が容易になる
タスクのグループ化について
タスクはグループにまとめることができる
- 依存関係のないタスクは並列的に実行される
- 依存関係のあるタスクは直列的に実行される
- 子のタスクが全て成功すると、親のタスクも成功する
- 子のタスクが失敗すると、親のタスクも失敗する
- ルートのタスクが失敗するか成功すると、実行全体が終了する
グループ化されている粒度を意識して読み込むことで把握がし易い
パラメータについて
- グループ化したタスクの内、親タスクに定義した変数の情報は、子タスクでもエクスポートをすることで使用できる
- 親のタスク実行時に子のタスクが生成される。前のタスクの結果に応じて様々なタスクを実行できる
実行
- 起点となる.digファイルをdigdag runコマンド経由で実行する
- サーバー上で実行したい場合はプロジェクト(ディレクトリ)単位でプッシュできる
- dockerを使用する際は起点となる.digファイルにオプションを設定しておく
- デフォルトではイメージをキャッシュし再利用する
- 常に最新を利用したい場合pull_always：trueオプションを指定する
URL情報
雑感
構成はシンプルである気がする