More than 1 year has passed since last update.

ジョブネットを想定して AWS Step Functions の再実行パターンを試してみた（３）ジョブネット階層編

Posted at 2023-11-30

AWS Step Functions で再実行（リドライブ）ができるようになったので、前回のシンプル編と集中と分散編にに引き続き、ジョブネットが親子構造（ネスト構造）を持っていると想定したときのエラー対応の挙動を試してみます。

想定するジョブネット

今回はジョブネットが親子構造を持っていると想定して実験します。今回は子ジョブ２が異常終了したときの挙動を確認します。

検証の結論

最初に検証の結論です。今回の実装では少し癖のあるリドライブ挙動となったので、運用に注意が必要ですね。

子ジョブ２が異常終了した時には、（１）親ステートマシンをリドライブする方法と、（２）子ステートマシンをリドライブする方法の２通りが考えられる
（１）親ステートマシンをリドライブした場合、単純に子ステートマシンは全体が再実行される。これにより、子ステートマシン側のジョブはエラー状態にかかわらず、子ジョブ１から３のすべてが実行される。その後、親ステートマシンの残りのジョブ３が実行されて処理完了となる。
（２）子ステートマシンをリドライブした場合、異常終了した子ジョブ２と子ジョブ３が実行されるが、親ステートマシンは異常終了状態のまま変わらない。つまり、親側のジョブ３は再実行されない。

実装の概要

前回と同じくaws-samples の amazon-stepfunctions-ssm-waitfortasktoken を利用した SfnRunCommandByInstanceIds を用いて、Steps Functions に以下のようなステートマシンを定義しました。

親ステートマシン

{
  "Comment": "This is a test state machine by yki",
  "StartAt": "StartAutomationWaitForCallBack (Parent Job 1)",
  "States": {
    "StartAutomationWaitForCallBack (Parent Job 1)": {
      "Type": "Task",
      "Resource": "arn:aws:states:::aws-sdk:ssm:startAutomationExecution.waitForTaskToken",
      "Parameters": {
        "DocumentName": "SfnRunCommandByInstanceIds",
        "Parameters": {
          "InstanceIds": [
            "i-xxxxxxxxxxxxxxxxx"
          ],
          "taskToken.$": "States.Array($$.Task.Token)",
          "workingDirectory": [
            "/home/ec2-user/sample-batch/"
          ],
          "Commands": [
            "./do-some1.sh"
          ]
        }
      },
      "Next": "Step Functions StartExecution"
    },
    "Step Functions StartExecution": {
      "Type": "Task",
      "Resource": "arn:aws:states:::states:startExecution.sync:2",
      "Parameters": {
        "StateMachineArn": "arn:aws:states:us-east-1:0000000000:stateMachine:MyChildStateMachine-fdk35erfa",
        "Input": {
          "StatePayload": "Hello from Step Functions!",
          "AWS_STEP_FUNCTIONS_STARTED_BY_EXECUTION_ID.$": "$$.Execution.Id"
        }
      },
      "Next": "StartAutomationWaitForCallBack (Parent ob 3)"
    },
    "StartAutomationWaitForCallBack (Parent ob 3)": {
      "Type": "Task",
      "Resource": "arn:aws:states:::aws-sdk:ssm:startAutomationExecution.waitForTaskToken",
      "Parameters": {
        "DocumentName": "SfnRunCommandByInstanceIds",
        "Parameters": {
          "InstanceIds": [
            "i-xxxxxxxxxxxxxxxxx"
          ],
          "taskToken.$": "States.Array($$.Task.Token)",
          "workingDirectory": [
            "/home/ec2-user/sample-batch/"
          ],
          "Commands": [
            "./do-some3.sh"
          ]
        }
      },
      "End": true
    }
  }
}

子ステートマシン

{
  "Comment": "This is a test state machine by yki",
  "StartAt": "StartAutomationWaitForCallBack (Child Job 1)",
  "States": {
    "StartAutomationWaitForCallBack (Child Job 1)": {
      "Type": "Task",
      "Resource": "arn:aws:states:::aws-sdk:ssm:startAutomationExecution.waitForTaskToken",
      "Parameters": {
        "DocumentName": "SfnRunCommandByInstanceIds",
        "Parameters": {
          "InstanceIds": [
            "i-xxxxxxxxxxxxxxxxx"
          ],
          "taskToken.$": "States.Array($$.Task.Token)",
          "workingDirectory": [
            "/home/ec2-user/sample-batch/"
          ],
          "Commands": [
            "./do-some1.sh"
          ]
        }
      },
      "Next": "StartAutomationWaitForCallBack (Child Job 2)"
    },
    "StartAutomationWaitForCallBack (Child Job 2)": {
      "Type": "Task",
      "Resource": "arn:aws:states:::aws-sdk:ssm:startAutomationExecution.waitForTaskToken",
      "Parameters": {
        "DocumentName": "SfnRunCommandByInstanceIds",
        "Parameters": {
          "InstanceIds": [
            "i-xxxxxxxxxxxxxxxxx"
          ],
          "taskToken.$": "States.Array($$.Task.Token)",
          "workingDirectory": [
            "/home/ec2-user/sample-batch/"
          ],
          "Commands": [
            "./do-some2.sh"
          ]
        }
      },
      "Next": "StartAutomationWaitForCallBack (Child Job 3)"
    },
    "StartAutomationWaitForCallBack (Child Job 3)": {
      "Type": "Task",
      "Resource": "arn:aws:states:::aws-sdk:ssm:startAutomationExecution.waitForTaskToken",
      "Parameters": {
        "DocumentName": "SfnRunCommandByInstanceIds",
        "Parameters": {
          "InstanceIds": [
            "i-xxxxxxxxxxxxxxxxx"
          ],
          "taskToken.$": "States.Array($$.Task.Token)",
          "workingDirectory": [
            "/home/ec2-user/sample-batch/"
          ],
          "Commands": [
            "./do-some3.sh"
          ]
        }
      },
      "End": true
    }
  }
}

なお、子ステートマシンを同期して実行するために権限設定が必要のため以下を参照しました。

エラーなく実行できることも確認済です。