Digdag schedulerで定期実行するプロジェクトを作ってみた。

はじめに

Digdagで定期実行するプロジェクトを作ってみました。

(表記ゆれというか用語間違いがあるかもしれませんのでお気づきの際はご指摘ください)

疑問

誰か教えてください。

• セッションとアテンプトの違い？
• 1回のセッションで実行されたそれぞれのタスクの実行結果は確認できるのか？
• 現在はスケジューラを停止すると結果が消えてしまうが、結果を永続化するにはどうすれば良いか？(PostgreSQLを使う？H2でも永続化可能)
• スケジューラはスケジューラだけさせて別プロセス(別ホスト)でタスクを実行するには？

プロジェクトの作成

foo.digを作成します。1分毎に現在時刻を表示します。その後"Hello"と出力します。

timezone: "Asia/Tokyo"

schedule:
  minutes_interval>: 1

+current_date:
  sh>: echo `date`

+echo_hello:
  sh>: echo "hello"

スケジューラの起動

foo.digのあるディレクトリで、digdag scheduler --project .digdag schedulerを実行します。(0.8.2から--project未指定の場合、カレントディレクトリを参照するようになりました)

実行結果

digdag scheduler
2016-06-18 11:09:36 +0900: Digdag v0.8.2
2016-06-18 11:09:38 +0900 [INFO] (main): Added new revision 1
2016-06-18 11:09:38 +0900 [INFO] (main): Starting server on 127.0.0.1:65432
2016-06-18 11:09:38 +0900 [INFO] (main): XNIO version 3.3.3.Final
2016-06-18 11:09:38 +0900 [INFO] (main): XNIO NIO Implementation Version 3.3.3.Final
2016-06-18 11:10:00 +0900 [INFO] (scheduler-0): Starting a new session project id=1 workflow name=foo session_time=2016-06-18T11:10:00+09:00
2016-06-18 11:10:00 +0900 [INFO] (0027@+foo+current_date): sh>: echo `date`
2016年 6月18日 土曜日 11時10分00秒 JST
2016-06-18 11:10:00 +0900 [INFO] (0027@+foo+echo_hello): sh>: echo "hello"
hello
2016-06-18 11:11:00 +0900 [INFO] (scheduler-0): Starting a new session project id=1 workflow name=foo session_time=2016-06-18T11:11:00+09:00
2016-06-18 11:11:00 +0900 [INFO] (0027@+foo+current_date): sh>: echo `date`
2016年 6月18日 土曜日 11時11分00秒 JST
2016-06-18 11:11:00 +0900 [INFO] (0027@+foo+echo_hello): sh>: echo "hello"
hello
2016-06-18 11:12:00 +0900 [INFO] (scheduler-0): Starting a new session project id=1 workflow name=foo session_time=2016-06-18T11:12:00+09:00
2016-06-18 11:12:00 +0900 [INFO] (0027@+foo+current_date): sh>: echo `date`
2016年 6月18日 土曜日 11時12分00秒 JST
2016-06-18 11:12:00 +0900 [INFO] (0027@+foo+echo_hello): sh>: echo "hello"
hello

タスクの確認

digdag task 1
2016-06-18 11:19:59 +0900: Digdag v0.8.1
   id: 1
   name: +foo
   state: success
   config: {"schedule":{"minutes_interval>":1}}
   parent: null
   upstreams: []
   export params: {}
   store params: {}
   state params: {}

   id: 2
   name: +foo+current_date
   state: success
   config: {"sh>":"echo `date`"}
   parent: 1
   upstreams: []
   export params: {}
   store params: {}
   state params: {}

   id: 3
   name: +foo+echo_hello
   state: success
   config: {"sh>":"echo \"hello\""}
   parent: 1
   upstreams: [2]
   export params: {}
   store params: {}
   state params: {}

3 entries.

結果の確認(sessions)

digdag sessionsで確認できるようです。

2016-06-18 11:14:34 +0900: Digdag v0.8.1
Sessions:
  session id: 1
  attempt id: 1
  uuid: 6ca0ad52-0315-40be-b8d6-fc866c23be0e
  project: default
  workflow: foo
  session time: 2016-06-18 11:10:00 +0900
  retry attempt name: 
  params: {"last_session_time":"2016-06-18T11:09:00+09:00","next_session_time":"2016-06-18T11:11:00+09:00"}
  created at: 2016-06-18 11:10:00 +0900
  kill requested: false
  status: success

  session id: 2
  attempt id: 2
  uuid: a836e331-ba44-4d5c-8149-1dbefc34ec03
  project: default
  workflow: foo
  session time: 2016-06-18 11:11:00 +0900
  retry attempt name: 
  params: {"last_session_time":"2016-06-18T11:10:00+09:00","next_session_time":"2016-06-18T11:12:00+09:00"}
  created at: 2016-06-18 11:11:00 +0900
  kill requested: false
  status: success

単一セッションを確認

digdag sessions <sessions-id>で確認できるようです。

digdag sessions 1
2016-06-18 11:15:23 +0900: Digdag v0.8.1
  session id: 1
  attempt id: 1
  uuid: 6ca0ad52-0315-40be-b8d6-fc866c23be0e
  project: default
  workflow: foo
  session time: 2016-06-18 11:10:00 +0900
  retry attempt name: 
  params: {"last_session_time":"2016-06-18T11:09:00+09:00","next_session_time":"2016-06-18T11:11:00+09:00"}
  created at: 2016-06-18 11:10:00 +0900
  kill requested: false
  status: success

attemptsの確認

sessionとの違いがよくわかりませんがattemptsというコマンドもあるようです。
出力はsessionに似ています。

digdag attempts
2016-06-18 11:16:34 +0900: Digdag v0.8.1
Session attempts:
  session id: 1
  attempt id: 1
  uuid: 6ca0ad52-0315-40be-b8d6-fc866c23be0e
  project: default
  workflow: foo
  session time: 2016-06-18 11:10:00 +0900
  retry attempt name: 
  params: {"last_session_time":"2016-06-18T11:09:00+09:00","next_session_time":"2016-06-18T11:11:00+09:00"}
  created at: 2016-06-18 11:10:00 +0900
  kill requested: false
  status: success

  session id: 2
  attempt id: 2
  uuid: a836e331-ba44-4d5c-8149-1dbefc34ec03
  project: default
  workflow: foo
  session time: 2016-06-18 11:11:00 +0900
  retry attempt name: 
  params: {"last_session_time":"2016-06-18T11:10:00+09:00","next_session_time":"2016-06-18T11:12:00+09:00"}
  created at: 2016-06-18 11:11:00 +0900
  kill requested: false
  status: success

単一のattemptsの確認

digdag attempts でいけるようです。

digdag attempts 1
2016-06-18 11:18:05 +0900: Digdag v0.8.1
Session attempts:
  session id: 1
  attempt id: 1
  uuid: 6ca0ad52-0315-40be-b8d6-fc866c23be0e
  project: default
  workflow: foo
  session time: 2016-06-18 11:10:00 +0900
  retry attempt name: 
  params: {"last_session_time":"2016-06-18T11:09:00+09:00","next_session_time":"2016-06-18T11:11:00+09:00"}
  created at: 2016-06-18 11:10:00 +0900
  kill requested: false
  status: success

単一のattemptの確認

出力がほとんど同じに見えますが、digdag attempt <attempt-id>でattempt?の結果が見られるようです。

digdag attempt 1
2016-06-18 11:18:53 +0900: Digdag v0.8.1
  session id: 1
  attempt id: 1
  uuid: 6ca0ad52-0315-40be-b8d6-fc866c23be0e
  project: default
  workflow: foo
  session time: 2016-06-18 11:10:00 +0900
  retry attempt name: 
  params: {"last_session_time":"2016-06-18T11:09:00+09:00","next_session_time":"2016-06-18T11:11:00+09:00"}
  created at: 2016-06-18 11:10:00 +0900
  kill requested: false
  status: success

お礼

こちらを参考にさせていただきました。
ありがとうございます。

@hiroysato デフォルトはメモリ上にDB作るモードっぽいです。その後なぜか--project .で回避できました。

— DATE Ken (@nuna) 2016年6月17日