概要
Workflowにて、並列処理をまたいでJobの実行順序を調整する手段について説明します。
NoticeBoardを使うことで、通常のFork処理では実現できない処理の連携を行います。
前提条件
- JS7 jobscheduler の環境準備、初期設定を済ませていること。
サンプルWorkflowを使ってざっと学習していることが望ましい。
まだの方はこちらから
JS7® JobScheduler 初期設定、サンプルWorkFlowの登録 - WorkFlowの作成、実行、ログ確認などの基本操作ができること。
こちらで簡単な操作説明をしています
JS7 JobScheduler 初めてのWorkFlow実行 - 本記事はJobScheduler Ver. 2.4.1 で確認した内容です。
今後内容が変わる可能性があります。
はじめに
本記事では、下図のような条件のWorkflowを定義します。
条件１： job1系(1a,1b)とjob2系(2a,2b) は並列で実行
条件２： job2bは、job1aとjob2aの両方が完了後に実行
条件１はFork処理での分岐と、順次処理の組み合わせで容易に定義できます。
しかし条件２は、単純にFork処理の機能だけでは定義できません。
※1a,2a の後で分岐を閉じ、再度1b,2bの分岐を書くこともできますが、並列度合いがいまひとつ。
(1aの処理が先に終わっても、2aが終了するまで1bが動かない)
そこで本例では、NoticeBoardを利用することで、この処理を実現する方法をご紹介します。
設定
Noticeboardの定義
Practice - Controller - Notice Boards と展開し、新規にNotice Boardを作成します。
名前はnotice_fork_custom_job1としてください。
値は下記のように設定します。
| 設定 | 値 |
|---|---|
| Name | notice_fork_custom_job1 |
| Notice ID for posting order | replaceAll($js7OrderId, '^#([0-9]{4}-[0-9]{2}-[0-9]{2}#\w.+?)-.+?$', '$1') |
| Notice ID for expecting order | replaceAll($js7OrderId, '^#([0-9]{4}-[0-9]{2}-[0-9]{2}#\w.+?)-.+?$', '$1') |
| End of Life of Notice | 60 Seconds |
Workflowの定義
Practice - Controller - Workflows より、新規Workflow fork_custom を作成します。
並列処理の追加
下記のとおり、Fork処理とJobを並べて並列処理を設定して下さい。
fork処理を追加して、2つに分岐 (branch1, branch2 を作成)
branch 1 側
| Name/Label | （Shellジョブの）Script |
|---|---|
| job1a | sleep 10 |
| job1b | sleep 5 |
branch 2 側
| Name/Label | （Shellジョブの）Script |
|---|---|
| job2a | sleep 1 |
| job2b | sleep 10 |
PostNocices/ExpectNocicesの追加
次に、job1a の後ろに、PostNotices処理を追加します。
Notice Board には、先ほど作ったnotice_fork_custom_job1を選んでください。
※notice_fork_custom_job1に通知を出します。
続いて、job2a の後ろに、ExpectNotices処理を追加します。
Notice Board には、先ほど作ったnotice_fork_custom_job1を選んでください。
※notice_fork_custom_job1の通知を待ちます。
終わりましたら、Deployしてください。
Workflowの動作確認
定義したWorkflow /Practice/fork_custom を実行します。
各Jobの開始、終了時間を確認し、意図した順序でjobが実行されたことを確認してください。
| 時刻 | 動作 |
|---|---|
| 19:34:42 | workflow 開始 |
| 19:34:44 | job1a、job2a が開始 |
| 19:34:45 | job2a が終了 (job2bはまだ開始されない) |
| 19:34:54 | job1a が終了 |
| 19:34:55 | job1b が開始（job1a終了直後に開始される） job2b が開始 (job1a,job2a の両方が終了した直後に開始される) |
| 19:35:00 | job1b が終了 |
| 19:35:05 | job2b が終了 (job1aの終了を待機した影響でjob2系が後に終わる) workflow 終了 |
各Jobのsleep時間を適当に調整し、想定通りの順序で動くか確認してみてください。
NoticeBoardの動作確認
RESOURCES - Notice Boards より、通知の内容を確認することが可能です。
job2a終了後、ExpectNotice処理が実行されると、NoticeBoard の設定に応じたIDの通知待ちとなります。
job1a終了後、PostNotice処理が実行されると、NoticeBoard の設定に応じたIDの通知が届きます。
また、Expectは該当IDの通知を受けたため、消えます。（後続のJob2bが開始されます）
End Of Life で設定した時間経過後、IDは自動的に削除されることを確認してください。
もしPost/Expect の連携がうまく動作しない場合は、このNotice Id が一致するように、NoticeBoardの設定を調整してください。
もし通知情報が残ったままの場合は、下記の操作で削除できます。
Post Notice の指定時間が長すぎて残ったままの場合
→ 上記メニュー上より Delete Notice の操作
Expect Notice を消したい場合
→ 該当Workflowで ExpectNoticeで待ち状態となっているOrderをCancelで終了
【参考】NoticeBoardでの厳密なID指定
NoticeBoardで指定するNotice IDについて、デフォルトで２パターンが用意されています。
- Matching Daily Plan Dates
OrderId の日付部分 （#2022-11-08#T90515128805-root→2022-11-08） - Matching Daily Plan Dates and Order Name
OrderIdの日付＋OrderName （#2022-11-08#T90515128805-root→2022-11-08root）
しかし、この2つの設定は、下記の問題があります。
- どちらのケースとも、当日中に何回実行しても、同じ Notice ID となってしまいます。
そのため、同日に複数回実行する場合には不向きです。 - OrderIdの日付部分は、手動Orderの場合、UTC日付、DailyPlanによるOrderの場合はJST（指定TimeZone）日付が入ります。
そのため手動実行の可能性がある場合、これらの設定はお勧めしません。 - 本記事のようにFork処理内でPostNotice,ExpectNoticeを使った場合、OrderName部分にはBranch名が含まれます。
そのため、同一Workflow内であっても、OrderIdやOrderNameは合致しません。- PostNoticeでのOrderIdの例：
#2022-11-08#T90515128805-root|branch2 - ExpectNoticeでのOrderIdの例：
#2022-11-08#T90515128805-root|branch1
- PostNoticeでのOrderIdの例：
そこで本記事では、Notice ID の取得に replaceAll($js7OrderId, '^#([0-9]{4}-[0-9]{2}-[0-9]{2}#\w.+?)-.+?$', '$1') と指定しています。
この場合、OrderNameより前の箇所 2022-11-08#T90515128805を取得でき、Order単位で一致させることができます。
厳密さにこだわらないならば、 post, expect ともに 適当な文字列（例えば 'id' ）でも、通知は可能です。※文字列はシングルクォートで囲う
【参考】End of Life of Notice について
End of Life of Notice は、処理内容に応じて適度な時間を指定してください。
例えば本記事の例では、End of Life of Noticeを1分指定で、仮にjob2aの処理時間に3分かかった場合、job2aの終了を待つ間に、通知が消えてしまいます。
また長すぎれば、期限切れまで通知が残り続けます。
【参考】複数処理の連携について
PostNotices, ExpectNotices とも、複数のNoticeBoardを指定できます。
またExpectNotices では、下記のように AND, OR の条件指定が可能です。
-
'notice_job_A' && 'notice_job_B'job_A, job_B 両方の通知を受けた場合 -
'notice_job_A' || 'notice_job_B'job_A, job_B どちらかの通知を受けた場合 -
( 'notice_job_A' && 'notice_job_B' ) || 'notice_job_C'job_A, job_B の両方、または job_C 通知を受けた場合
これを使えば、さらに複数の分岐処理間の連携にも対応できます。
最後に
通常のNoticeBoardの使い方だと、複数Workflow間での連携処理を思い浮かべますが、本記事のように、同一Workflow内での使い方をマスターすれば、より柔軟なWorkflowを定義が実現できそうです。
参考
JS7 - Notice Boards
JS7 - PostNotices Instruction
JS7 - ExpectNotices Instruction
JS7 - Expressions for Variables