Help us understand the problem. What is going on with this article?

Digdagアーキテクチャについて

More than 1 year has passed since last update.

概要についてはこちら
https://qiita.com/dich1/items/feb9354378862d7c7e94

アーキテクチャページついて(部分意訳・要約)
http://docs.digdag.io/architecture.html

定義

タスク

1バッチのこと

オペレーター

処理の命令のこと

ワークフロー

複数バッチが実行される、1ファイルのこと

プロジェクト

.digのファイル名と同じディレクトリにある他のファイル

実行環境

下記3つでの実行が可能

  • ローカル
  • digdagサーバー
  • dockerコンテナ

ワークフローエンジンについて

様々な手動バッチ操作を、オペレータープラグインによって自動化する

  • タスクが失敗すると警告を通知する
  • ワークフローが想定時間内に終了しない場合、通知をする
  • 定義を見直す時は、鳥瞰図をイメージしながら詳細を追うとデバッグや確認が容易になる

タスクのグループ化について

タスクはグループにまとめることができる

  • 依存関係のないタスクは並列的に実行される
  • 依存関係のあるタスクは直列的に実行される
  • 子のタスクが全て成功すると、親のタスクも成功する
  • 子のタスクが失敗すると、親のタスクも失敗する
  • ルートのタスクが失敗するか成功すると、実行全体が終了する

グループ化されている粒度を意識して読み込むことで把握がし易い

パラメータについて

  • グループ化したタスクの内、親タスクに定義した変数の情報は、子タスクでもエクスポートをすることで使用できる
  • 親のタスク実行時に子のタスクが生成される。前のタスクの結果に応じて様々なタスクを実行できる

実行

  • 起点となる.digファイルをdigdag runコマンド経由で実行する
  • サーバー上で実行したい場合はプロジェクト(ディレクトリ)単位でプッシュできる
  • dockerを使用する際は起点となる.digファイルにオプションを設定しておく
  • デフォルトではイメージをキャッシュし再利用する
  • 常に最新を利用したい場合pull_always:trueオプションを指定する

URL情報

http://docs.digdag.io/architecture.html

雑感

構成はシンプルである気がする

dich1
やったことあるのに思い出せない。をなくしたい
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした