EventBridgeからEventBridge Schedulerに移行してみる #Python

はじめに

この記事は、ミロゴス Advent Calendar 2022 １１日目の記事です。

先月の11/10にEventBridge Scheduler（以降、Scheduler）が発表されました。
Introducing Amazon EventBridge Scheduler

これまで社内システムにてStep Functionsをcronで指定した時刻に実行するために、EventBridge Rule（以降、Rule）を使っていました。
今回、発表されたSchedulerはまさにこのユースケースにはまる内容でした。

本記事ではRuleをSchedulerに変える際に、現状実施していることは変えずに移行できるのか確認していきます。

なお、呼ばれるStep Functionsのワークフローは以前にStep Functions Localでモックしていたものです。このステートマシンはルールからパラメータを受けとっており、条件分岐やデータストアから引っ張ってくる条件などに使っています。

前提

Amazon EventBridge Schedulerに関して

すでに様々なブログで紹介記事を見ますが、詳細かつ日本語ではclassmethodさんの記事がわかりやすかったです。

EventBridge SchedulerとEvent Bridge Ruleの違いをCloudFormationから学ぶ

EventBridgeではイベント駆動のために他サービスからのイベントパターンの設定やSaaSとしての利用など広く利用されていました。
それ以外にCloudWatch Eventsから持ってきたcronなどの時間指定イベントがあるなど、ごちゃ混ぜなイメージを私は持っていました。
今回のSchedulerの登場によって時間指定のイベントは別管理になるため、整理されそうな所感を持っています。

また、Step Functionsに渡すパラメータや時間ごとにルールを作っていると当たり前のようにルール数が増えていきます。
ルール数のデフォルト上限である300件から500件へ上限緩和申請をしているのですが、先日確認した際にまた上限に近づいてきており、急いで再申請していました。

Schedulerではデフォルトで100万件となっており、これだけでも移行を検討する材料になるかと思います。

移行する対象

まず、移行する対象のシステムの概要です。

Lambdaからルールを作成します。
- 本記事では調査が前提のため、ローカル環境から実行します。
AWS SDKを使います。言語はPythonを使うためboto3でリソースを作成します。
- Ruleのboto3リファレンス
- EventBridgeSchedulerのboto3リファレンス
Step Functionsには入力パラメータとして整形されたJSONを渡します。
起動させるStep FunctionsやEventBridgeのRoleを環境変数で設定します。
- TARGET_ARN
  - ステートマシンのARN
- EVENTS_ROLE_ARN
  - Ruleがステートマシンを実行するためのIAM RoleのARN
- SCHEDULER_ROLE_ARN
  - Schedulerがステートマシンを実行するためのIAM RoleのARN

app.py

import json
import os
import boto3

if __name__ == "__main__":
    # Rule
    events_client = boto3.client("events")
    events_client.put_rule(
        Name="hoge_rule",
        ScheduleExpression="cron(30 8 29 11 ? 2023)",
        State="DISABLED",
    )
    events_client.put_targets(
        Rule="hoge_rule",
        Targets=[
            {
                "Id": "hoge_target",
                "Arn": os.environ["TARGET_ARN"],
                "RoleArn": os.environ["EVENTS_ROLE_ARN"],
                "Input": json.dumps({"hoge": "test"}),
            }
        ],
    )

    # Scheduler
    scheduler_client = boto3.client("scheduler")
    scheduler_client.create_schedule(
        Name="hoge_rule",
        ScheduleExpressionTimezone="Asia/Tokyo",
        ScheduleExpression="cron(30 17 29 11 ? 2023)",
        Target={
            "Arn": os.environ["TARGET_ARN"],
            "RoleArn": os.environ["SCHEDULER_ROLE_ARN"],
            "Input": json.dumps({"hoge": "test"}),
        },
        State="DISABLED",
        # スケジュールを分散する必要がないためOFF
        FlexibleTimeWindow={"Mode": "OFF"},
    )

Ruleではルールの作成後にターゲットをアタッチするような流れになります。
Targets引数は配列の形のため、1イベントで複数の対象を設定できます。

SchedulerはScheduleの作成時にまとめて実行時間と対象を設定します。
Ruleとは異なり、対象は単一になります。

また、FlexibleTimeWindowは使わない場合でも、設定は必要になります。
FlexibleTimeWindowを指定すると、指定時間内で対象を起動し分散させることができます。
今回は指定の時間に実行させたいので、OFFにしています。

ScheduleExpressionTimezoneはオプションのパラメータです。
RuleのcronではUTCでの時間設定でした。
SchedulerではScheduleExpressionTimezoneを指定することで、タイムゾーンを指定できます。
ここでは+0900のAsia/Tokyoを指定したため、cronの時間も+9時間しています。

実行時の注意

botocore.errorfactory.ValidationException: An error occurred (ValidationException) when calling the CreateSchedule operation: The execution role you provide must allow AWS EventBridge Scheduler to assume the role.

Ruleと同じRoleを使ってしまうと、Schedulerの実行で上記のようなエラーになります。
IAM RoleのTrusted EntityはRuleとSchedulerとで異なるため注意が必要です。

なお、2022/11/30時点ではAWSコンソールでIAM Roleを作成する際、AWS ServiceからSchedulerが見つからなかったため、Custom trust policyを選んでJSONで直接指定するのが良さそうです。

Trusted Entityはそれぞれ下記になります。

EventBridge
- events.amazonaws.com

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Scheduler
- scheduler.amazonaws.com

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "Statement1",
			"Effect": "Allow",
			"Principal": {
			    "Service": "scheduler.amazonaws.com"
			},
			"Action": "sts:AssumeRole"
		}
	]
}

なお、PolicyはステートマシンのStartExecution権限のみにしています。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "states:StartExecution"
            ],
            "Resource": "arn:aws:states:ap-northeast-1:00000000000:stateMachine:*",
            "Effect": "Allow"
        }
    ]
}

AWSコンソール上での確認

	EventBridge	EventBridge Scheduler
cronの見え方
ターゲットの見え方

Schedulerのcronの時間は見やすくなっているので、AWS独特のcron式でも見間違えの可能性が下がりそうです。

実行時のエラー

botocore.errorfactory.ValidationException: An error occurred (ValidationException) when calling the CreateSchedule operation: The schedule expression cron(30 0 1 1 ? 2022), with StartDate null and EndDate null, is invalid.

CreateScheduleする際に実行時間がcronの指定時間を過ぎていた場合、上記のようなエラーが出力されました。
StartDateとEndDateのパラメータがSchedulerでは追加されたため、無効な時間設定になっていないかを確認するようになっているようです。
Schedulerを設定する以上は有効な時間をcronで設定しているものという仕様のようですね。

所感

RuleからSchedulerへの移行の確認として、同じことができるのか簡単に触ってみました。
細かい部分での違いはあるものの時間による処理の開始にRuleを使っているのならば、問題なくSchedulerに移行ができそうでした。
同じようなユースケースの方がSchedulerに移行する一助になれば嬉しいです。