Go to Qiita Advent Calendar 2024 Top
LoginSignup
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@hs-takain株式会社日立ソリューションズ システム運用管理コミュニティ

【AWS】CloudWatch LogsのログをS3バケットにエクスポートする処理はLambdaよりもStep Functionsの方が相性が良かった

Posted at

はじめに

本記事は、CloudWatch LogsのログをS3バケットにエクスポートする処理をStep Functionsで実装した時の記録です。

やりたいこと

  • CloudWatch Logsの全ロググループの先月分のログをS3バケットにバックアップする
  • 毎月最初の休日の12:00に自動実行させる
  • できるだけ楽して実装する

背景

CloudWatch Logsのログは、データ保管コストがS3バケットよりも高くなっています。

直近のログデータのみを残して、古いログデータはS3にバックアップすることで、保管コストを抑えることができます。

古いログデータを自動削除したい場合は、CloudWatch Logsのログ保持期間を設定します。1

以下の記事を参考にして、CloudWatchLogsのログをS3バケットに転送する方法を検討しました。

一番楽に見えたのは「EventBridgeSchedulerでのS3エクスポート」です。しかし、AWSのAPI「CreateExportTask」には下記制約があります。

  • 1回のタスクでエクスポートできるCloudWatch Logsのロググループは1つ
  • 同一アカウントにおいてエクスポートタスクは並列実行できない

Each account can only have one active (RUNNING or PENDING) export task at a time.

従って、複数のCloudWatch Logsのロググループをエクスポートするためには、「エクスポートタスクを実行→エクスポートタスクの終了を待つ」という処理を繰り返す必要があります。

この処理はLambdaで実装できると考え、まずは「EventBridge＋LambdaでのS3エクスポート」で実装してみました。

しかし、思っていたよりもエクスポートタスクに時間がかかり、Lambdaの実行時間制限（15分）に引っかかってしまいました。

そこで、Lambdaの替わりにStep Functionsで実装することにしました。

Step Functionsの実行時間制限は最大で1年です。

By configuring a long timeout duration and actively sending a heartbeat, an activity in Step Functions can wait up to a year for an execution to complete.2

自動実行させる日時について

一般的に、バックアップ等のメインテナンス処理は、夜間や休日に実行することが多いです。

今回のCloudWatch Logsのログをエクスポートする処理も負荷が高いため、毎月最初の休日の12:00に自動実行させます。

CloudWatch Logsのログデータは、エクスポートできるようになるまで最大12時間かかる場合があります。

Log data can take up to 12 hours to become available for export. Export tasks time out after 24 hours. 3

1日00:00に実行するとエクスポートできないデータが含まれる可能性もあるため、実行時刻を12:00にしています。

なぜStep Functionsと相性が良いのか？（忙しい方向けのまとめ）

Lambdaの場合はコードを書く必要がありますが、Step Functionsはコードを書かなくても今回必要な機能の大半を提供してくれました。

AWSのAPI呼び出し
Step Functionsから直接呼出し可能
リトライ処理
API失敗時のリトライ処理やエラー処理を設定可能
配列の各要素毎の処理
Map Stateで実現可能（ループ処理を自力で作る必要なし）
条件分岐
Choice Stateで実現可能
待機
Wait Stateで実現可能
簡単なデータ処理
組み込み関数で実現可能
実行時間制限
最大で1年（Lambdaは最大でも15分）

もちろん、LambdaとStep Functionsそれぞれにメリット・デメリットがあります。
Lambda Step Functions
メリット 使い慣れたプログラミング言語を使用できる。各種ライブラリーも充実している。
複雑な処理にも対応可能。		 AWSのAPI呼び出しやエラー処理、並列処理等を簡単に実現可能。
実行時間制限は最大で1年。
デメリット 最大15分の実行時間制限がある。
AWSのAPI呼び出しやエラー処理、並列処理等を自力でコーディングする必要がある。		 Step Functionsのみで複雑な処理を実現するのは困難。
未経験の場合は学習コストがかかる。

今回のようにAWSのAPI呼び出しだけで完結するようなケースでは、Step Functionsの方が楽に実装できました。

複雑な処理だけLambdaで実装して、それ以外はStep Functionsで実装することも可能です。

今回実装した成果物

システム構成図

image.png

クラウド型ジョブスケジューラーサービスの設定

eventbridge_rules.png

jobsaas_calender.png

jobsaas_rule.png

Step Functionsのステートマシン（デザイン）

stepfunctions_graph.png

Step Functionsのステートマシン（コード） 下記変数は各自の環境に置き換えてください。
${AWS::Region}
リージョン
${AWS::AccountId}
アカウントID
${BucketName}
S3バケット名
Step Functionsのステートマシン（コード）
{
  "StartAt": "Lambda args-for-create-export-task",
  "States": {
    "Lambda args-for-create-export-task": {
      "Type": "Task",
      "Resource": "arn:aws:states:::lambda:invoke",
      "Parameters": {
        "FunctionName": "arn:aws:lambda:${AWS::Region}:${AWS::AccountId}:args-for-create-export-task:$LATEST",
        "Payload": {
          "time.$": "$.time"
        }
      },
      "Next": "Pass NextToken",
      "OutputPath": "$.Payload"
    },
    "Pass NextToken": {
      "Type": "Pass",
      "Next": "DescribeLogGroups",
      "Parameters": {
        "args.$": "$.args",
        "NextToken": null
      },
      "OutputPath": "$.temp",
      "ResultPath": "$.temp"
    },
    "DescribeLogGroups": {
      "Type": "Task",
      "Parameters": {
        "Limit": 50,
        "NextToken.$": "$.NextToken"
      },
      "Resource": "arn:aws:states:::aws-sdk:cloudwatchlogs:describeLogGroups",
      "Next": "Map extract",
      "ResultPath": "$.describe_log_groups"
    },
    "Map extract": {
      "Type": "Map",
      "ItemProcessor": {
        "ProcessorConfig": {
          "Mode": "INLINE"
        },
        "StartAt": "CreateExportTask",
        "States": {
          "CreateExportTask": {
            "Type": "Task",
            "Parameters": {
              "Destination": "${BucketName}",
              "DestinationPrefix.$": "States.Format('{}{}', $.args.destinationPrefix, $.LogGroupName)",
              "From.$": "$.args.from",
              "LogGroupName.$": "$.LogGroupName",
              "To.$": "$.args.to"
            },
            "Resource": "arn:aws:states:::aws-sdk:cloudwatchlogs:createExportTask",
            "Next": "Wait DescribeExportTasks",
            "Retry": [
              {
                "ErrorEquals": [
                  "States.TaskFailed"
                ],
                "BackoffRate": 1,
                "IntervalSeconds": 10,
                "MaxAttempts": 99999999,
                "Comment": "LimitExceededException",
                "MaxDelaySeconds": 10
              }
            ]
          },
          "Wait DescribeExportTasks": {
            "Type": "Wait",
            "Next": "DescribeExportTasks",
            "Seconds": 10
          },
          "Success map": {
            "Type": "Succeed"
          },
          "DescribeExportTasks": {
            "Type": "Task",
            "Parameters": {
              "TaskId.$": "$.TaskId"
            },
            "Resource": "arn:aws:states:::aws-sdk:cloudwatchlogs:describeExportTasks",
            "Next": "Choice DescribeExportTasks",
            "ResultPath": "$.status",
            "ResultSelector": {
              "Code.$": "$.ExportTasks[0].Status.Code"
            }
          },
          "Choice DescribeExportTasks": {
            "Type": "Choice",
            "Choices": [
              {
                "Or": [
                  {
                    "Variable": "$.status.Code",
                    "StringEquals": "RUNNING"
                  },
                  {
                    "Variable": "$.status.Code",
                    "StringEquals": "PENDING"
                  },
                  {
                    "Variable": "$.status.Code",
                    "StringEquals": "PENDING_CANCEL"
                  }
                ],
                "Next": "Wait DescribeExportTasks"
              },
              {
                "Variable": "$.status.Code",
                "StringEquals": "COMPLETED",
                "Next": "Success map"
              }
            ],
            "Default": "Fail map"
          },
          "Fail map": {
            "Type": "Fail"
          }
        }
      },
      "Next": "Choice NextToken",
      "ItemsPath": "$.describe_log_groups.LogGroups",
      "MaxConcurrency": 1,
      "ItemSelector": {
        "args.$": "$.args",
        "LogGroupName.$": "$$.Map.Item.Value.LogGroupName"
      },
      "ResultPath": "$.map_extract"
    },
    "Choice NextToken": {
      "Type": "Choice",
      "Choices": [
        {
          "Variable": "$.describe_log_groups.NextToken",
          "IsPresent": true,
          "Next": "Pass loop"
        }
      ],
      "Default": "Success"
    },
    "Pass loop": {
      "Type": "Pass",
      "Next": "DescribeLogGroups",
      "Parameters": {
        "args.$": "$.args",
        "NextToken.$": "$.describe_log_groups.NextToken"
      }
    },
    "Success": {
      "Type": "Succeed"
    }
  },
  "TimeoutSeconds": 86400,
  "Comment": "CloudWatch logsのログをS3バケットへエクスポート"
}
Step Functionsのステートマシン（ロールの許可ポリシー） 下記変数は各自の環境に置き換えてください。
${AWS::Region}
リージョン
${AWS::AccountId}
アカウントID
Step Functionsのステートマシン（ロールの許可ポリシー）
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "logs:DescribeLogGroups"
            ],
            "Resource": "arn:aws:logs:*:*:log-group::log-stream:*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateExportTask",
                "logs:DescribeExportTasks"
            ],
            "Resource": "arn:aws:logs:*:*:log-group:*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:${AWS::Region}:${AWS::AccountId}:function:args-for-create-export-task",
                "arn:aws:lambda:${AWS::Region}:${AWS::AccountId}:function:args-for-create-export-task:*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "xray:PutTraceSegments",
                "xray:PutTelemetryRecords",
                "xray:GetSamplingRules",
                "xray:GetSamplingTargets"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}
CreateExportTaskの引数を作成するLambda関数のコード(Node.js 20.x)
CreateExportTaskの引数を作成するLambda関数のコード(Node.js 20.x)
exports.handler = async (event) => {
  const time = new Date(event.time);
  if ( Number.isNaN(time.getDate())){
    throw new TypeError("invalid argument: 'time': " + event.time);
  }
  const from = new Date(time.getFullYear(), time.getMonth(), -1, 1, 0, 0, 0, 0);
  return {
    args: {
      from: from.getTime(),
      to: new Date(time.getFullYear(), time.getMonth(), 1, 0, 0, 0, 0).getTime(),
      destinationPrefix: 'exportedlogs/'+
        ('0000' + from.getFullYear()).slice(-4) + "/" +
        ('00' + (from.getMonth() + 1)).slice(-2) + "/logs",
    }
  };
};

解説

以下では今回実装した成果物について説明します。

Step Functionsの各ステートの説明では「コード」を記載していますが、筆者は作成時には「デザイン」（GUI）を使用しました。

「デザイン」と「コード」は自動的に同期してくれるので、好きな方で作成できます。

全体の流れ

要件 手段
毎月最初の休日の12:00に自動実行させる クラウド型ジョブスケジューラーサービス（またはEventBridge Schedulerで代替）
CloudWatch Logsの全ロググループの先月分のログをS3バケットにバックアップする Step Functions（+ Lambda）

stepfunctions_details.png

毎月最初の休日の12:00に自動実行させる

ステートマシンの定期自動実行

Step Functionsのステートマシンを下記要件の通り自動実行させます。

毎月最初の休日の12:00に自動実行させる

ステートマシンの自動実行は、EventBridge Schedulerで実現できます。

EventBridge Schedulerでは、スケジュールルールをcron式またはrate式で表現します。4
しかし、「毎月最初の休日」という要件をcron式またはrate式で表現する方法が思いつきませんでした。

そこで、ステートマシンの定期自動実行をクラウド型ジョブスケジューラーサービスで実現することにしました。

要件がcron式またはrate式で表現できるケースでは、EventBridge Schedulerでも実現可能です。

EventBridge Schedulerを使用する場合【クリックすると展開されます】

EventBridge Schedulerの設定

cron式またはrate式で「毎月最初の休日」を表現する方法が思いつかなかったため、要件を単純化して「毎月第1日曜日の12:00」にStep Functionsのステートマシンを実行させました。

システム構成図

image.png

スケジュール設定

eventbridge_schedule.png

ターゲット設定

eventbridge_target.png

実行ロールで、Step Functionsのステートマシンのstates:StartExecution権限を付与します。

ステートマシンの入力データ

CloudWatch Logsのログをエクスポートする処理では「先月」の基準となる日付が必要です。

EventBridge Schedulerではターゲットに渡すペイロードでスケジュール時間を設定できるので、それをステートマシンの入力データとして受けるようにします。

<aws.scheduler.scheduled-time> – The time you specified for the schedule to invoke its target, for example, 2022-03-22T18:59:43Z.5

クラウド型ジョブスケジューラーサービスの設定

クラウド型ジョブスケジューラーサービスの詳細な設定手順については、以下の記事をご参照ください。

イベント送信先のEventBridgeのルール

eventbridge_rules.png

クラウド型ジョブスケジューラーサービスと連携するために、イベント送信先となるAWS環境上でEventBridgeの設定を行います。

EventBridgeのルールを作成する際は、ターゲットにStep Functionsのステートマシンを設定します。

ロールで、Step Functionsのステートマシンのstates:StartExecution権限を付与します。

クラウド型ジョブスケジューラーサービスのカレンダー設定

jobsaas_calender.png

今回の要件に合うカレンダーを作成します。

要件が「休日に実行する」なので、土曜日・日曜日を運用日に設定して、それ以外の曜日を休業日に設定します。また、祝日を運用日に設定します。

クラウド型ジョブスケジューラーサービスのジョブの実行ルール設定

jobsaas_rule.png

ジョブの実行ルールを設定します。

開始日の指定方法
運用日
開始日
日付指定（第1運用日）
開始時刻
12:00
繰り返し
繰り返して実行する（1月毎に実行する）

実行予定日

上記設定により、以下のようなスケジュールで実行されます。

直近の実行予定
2024/12/01(日) 12:00
2025/01/01(水) 12:00
2025/02/01(土) 12:00
2025/03/01(土) 12:00
2025/04/05(土) 12:00
2025/05/03(土) 12:00
2025/06/01(日) 12:00
2025/07/05(土) 12:00
2025/08/02(土) 12:00
2025/09/06(土) 12:00
2025/10/04(土) 12:00
2025/11/01(土) 12:00
2025/12/06(土) 12:00
2026/01/01(木) 12:00
2026/02/01(日) 12:00
2026/03/01(日) 12:00

CloudWatch Logsの全ロググループの先月分のログをS3バケットにバックアップする

ステートマシンの入力データ

CloudWatch Logsのログをエクスポートする処理では「先月」の基準となる日付が必要です。

クラウド型ジョブスケジューラーサービスでは、イベント送信時のデータにジョブ実行時間timeが含まれるので、これを使用します。

CreateExportTaskで必要な引数を作成する

Lambda args-for-create-export-task
    "Lambda args-for-create-export-task": {
      "Type": "Task",
      "Resource": "arn:aws:states:::lambda:invoke",
      "Parameters": {
        "FunctionName": "arn:aws:lambda:${AWS::Region}:${AWS::AccountId}:function:args-for-create-export-task:$LATEST",
        "Payload": {
          "time.$": "$.time"
        }
      },
      "Next": "Pass NextToken",
      "OutputPath": "$.Payload"
    }

CloudWatch LogsのログをS3バケットにエクスポートする際は、AWSのAPI「CreateExportTask」を使用します。

CreateExportTaskの引数（一部抜粋）

from
エクスポートするログの期間（開始時間）
to
エクスポートするログの期間（終了時間）
DestinationPrefix
S3オブジェクトキーのプレフィックス

fromとtoはUNIX時間で指定します。先ほどステートマシンの入力データtimeを受け取りましたが、引数はISO 8601形式です。つまり、ISO 8601形式の現在日時から先月1日のUNIX時間と今月1日のUNIX時間を作成しなくてはいけません。

Step Functionsでは様々な組み込み関数が提供されていますが、日付に関連する機能は2024年現在提供されていないようです。

できればLambdaを使用しないで実現したかったのですが、ここだけはLambdaの力を借りることにしました。

CreateExportTaskの引数を作成するLambda関数のコード(Node.js 20.x)
exports.handler = async (event) => {
  const time = new Date(event.time);
  if ( Number.isNaN(time.getDate())){
    throw new TypeError("invalid argument: 'time': " + event.time);
  }
  const from = new Date(time.getFullYear(), time.getMonth(), -1, 1, 0, 0, 0, 0);
  return {
    args: {
      from: from.getTime(),
      to: new Date(time.getFullYear(), time.getMonth(), 1, 0, 0, 0, 0).getTime(),
      destinationPrefix: 'exportedlogs/'+
        ('0000' + from.getFullYear()).slice(-4) + "/" +
        ('00' + (from.getMonth() + 1)).slice(-2) + "/logs",
    }
  };
};

ついでなので、ここでDestinationPrefixのベース部分も作成しています（年と月でS3オブジェクトキーの階層を分けました）。最終的にはベース部分に「CloudWatch Logsのロググループ名」を結合したものをDestinationPrefixに指定します。

destinationPrefixは日付の後ろに「/logs」を付けていますが、これは「CloudWatch Logsのロググループ名」が「/」で始まるケースと「/」で始まらないケースの両方に対応するためです（例えば「exportedlogs/2024/11vpc-flow-log-group」や「exportedlogs/2024/11 // aws/lambda/args-for-create-export-task」みたいになるのは避けたいです）。6

NextToken（null）を作成する

Pass NextToken
    "Pass NextToken": {
      "Type": "Pass",
      "Next": "DescribeLogGroups",
      "Parameters": {
        "args.$": "$.args",
        "NextToken": null
      },
      "OutputPath": "$.temp",
      "ResultPath": "$.temp"
    }

CloudWatch Logsのロググループ一覧を取得する際は、AWSのAPI「DescribeLogGroups」を使用します。

このAPIは一度に最大50個までのロググループしか取得できません。すべてのロググループを取得するためには引数NextToken（前回どこまで取得できたか）を指定して繰り返し実行する必要があります。

limit
The maximum number of items returned. If you don't specify a value, the default is up to 50 items.

nextToken
The token for the next set of items to return. (You received this token from a previous call.)

初回はNextTokenを指定しなくても良いのですが、2回目以降では必須となります。初回と2回目以降の処理を共通化するために、ここでNextTokenにnullを設定します。

CloudWatch Logsのロググループ名を取得する（最大50個まで）

DescribeLogGroups
    "DescribeLogGroups": {
      "Type": "Task",
      "Parameters": {
        "Limit": 50,
        "NextToken.$": "$.NextToken"
      },
      "Resource": "arn:aws:states:::aws-sdk:cloudwatchlogs:describeLogGroups",
      "Next": "Map extract",
      "ResultPath": "$.describe_log_groups"
    }

CloudWatch Logsのロググループを取得するためにAWSのAPI「DescribeLogGroups」を呼び出します。

各ロググループ毎に処理を実行する

Map extract
    "Map extract": {
      "Type": "Map",
      "ItemProcessor": {
        "ProcessorConfig": {
          "Mode": "INLINE"
        },
        "StartAt": "CreateExportTask",
        "States": {

          "～": "Map extract内の各ステートは省略　～"

        }
      },
      "Next": "Choice NextToken",
      "ItemsPath": "$.describe_log_groups.LogGroups",
      "MaxConcurrency": 1,
      "ItemSelector": {
        "args.$": "$.args",
        "LogGroupName.$": "$$.Map.Item.Value.LogGroupName"
      },
      "ResultPath": "$.map_extract"
    }

先ほど取得したCloudWatch Logsの各ロググループに対してエクスポートする処理を実行します。

配列の各要素毎の処理はMapステートで簡単に実現できます。ItemsPathに先ほど取得した配列要素を指定します。

配列以外に$.argsも参照したいので、ItemSelectorを使用します。この時、配列のデータは$$.Map.Item.Valueで参照できます。

The $$.Map.Item.Value context object contains the value of each individual data item.7

Mapステートはdefaultでは並列処理となります。今回のエクスポートタスクは同時実行できないので、MaxConcurrency（同時実行数）に1を指定します。

Each account can only have one active (RUNNING or PENDING) export task at a time. 8

インラインMapステート内でエラーが発生した場合は、残りの処理は打ち切られてステートマシンの実行は失敗します。

In this mode, the failure of any iteration causes the Map state to fail. All iterations stop when the Map state fails.9

もし一部処理が失敗しても残りの処理を継続したい場合は、エラーをキャッチする必要があります。

CloudWatch LogsのログをS3バケットにエクスポートするタスクを作成する

CreateExportTask
          "CreateExportTask": {
            "Type": "Task",
            "Parameters": {
              "Destination": "${BucketName}",
              "DestinationPrefix.$": "States.Format('{}{}', $.args.destinationPrefix, $.LogGroupName)",
              "From.$": "$.args.from",
              "LogGroupName.$": "$.LogGroupName",
              "To.$": "$.args.to"
            },
            "Resource": "arn:aws:states:::aws-sdk:cloudwatchlogs:createExportTask",
            "Next": "Wait DescribeExportTasks",
            "Retry": [
              {
                "ErrorEquals": [
                  "States.TaskFailed"
                ],
                "BackoffRate": 1,
                "IntervalSeconds": 10,
                "MaxAttempts": 99999999,
                "Comment": "LimitExceededException",
                "MaxDelaySeconds": 10
              }
            ]
          }

CloudWatch Logsのログをエクスポートするタスクを作成するために、AWSのAPI「CreateExportTask」を呼び出します。

FromとToにはLambda関数args-for-create-export-taskで作成したデータを指定します。

DestinationPrefixはCloudWatch Logsのロググループ名を組み合わせたいため、組み込み関数States.Formatを使用しています。

Use the States.Format intrinsic function to construct a string from both literal and interpolated values.10

エクスポートタスクは同時実行できません。もし他で既にエクスポートタスクが実行中だった場合はCreateExportTaskが失敗します。8

そのため、CreateExportTaskステートではリトライ処理を設定しています。

Sleepする

Wait DescribeExportTasks
          "Wait DescribeExportTasks": {
            "Type": "Wait",
            "Next": "DescribeExportTasks",
            "Seconds": 10
          }

CreateExportTaskはエクスポートタスクを作成したら（タスクの完了を待たずに）終了します。エクスポートタスクは同時実行できないため、タスクの完了を待つ必要があります。

エクスポートタスクの状態を確認するAWSのAPIは「DescribeExportTasks」です。エクスポートタスクは時間がかかるため、ここで適度にSleepしています。

短時間に連続してAWSのAPIを実行すると、スロットリングの制限に引っ掛かることがあります。

エラーメッセージ
{
  "cause": "Rate exceeded (Service: CloudWatchLogs, Status Code: 400, Request ID: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)",
  "error": "CloudWatchLogs.ThrottlingException",
  "resource": "describeExportTasks",
  "resourceType": "aws-sdk:cloudwatchlogs"
}

エクスポートタスクの状態を取得する

DescribeExportTasks
          "DescribeExportTasks": {
            "Type": "Task",
            "Parameters": {
              "TaskId.$": "$.TaskId"
            },
            "Resource": "arn:aws:states:::aws-sdk:cloudwatchlogs:describeExportTasks",
            "Next": "Choice DescribeExportTasks",
            "ResultPath": "$.status",
            "ResultSelector": {
              "Code.$": "$.ExportTasks[0].Status.Code"
            }
          }

エクスポートタスクの状態を確認するために、AWSのAPI「DescribeExportTasks」を呼び出します。

エクスポートタスクが完了するまでループする

Choice DescribeExportTasks
          "Choice DescribeExportTasks": {
            "Type": "Choice",
            "Choices": [
              {
                "Or": [
                  {
                    "Variable": "$.status.Code",
                    "StringEquals": "RUNNING"
                  },
                  {
                    "Variable": "$.status.Code",
                    "StringEquals": "PENDING"
                  },
                  {
                    "Variable": "$.status.Code",
                    "StringEquals": "PENDING_CANCEL"
                  }
                ],
                "Next": "Wait DescribeExportTasks"
              },
              {
                "Variable": "$.status.Code",
                "StringEquals": "COMPLETED",
                "Next": "Success map"
              }
            ],
            "Default": "Fail map"
          }

エクスポートタスクの状態で処理を分岐します。

RUNNING, PENDING, PENDING_CANCEL
タスク実行中なので「Wait DescribeExportTasks」に戻る
COMPLETED
タスクが成功したので「Success map」に進む
それ以外
タスクが失敗したので「Fail map」に進む

Note: An AWS account can have only one export task for log data in the PENDING, PENDING_CANCEL, or RUNNING state.11

エクスポートタスクの状態はAWSコンソールからも確認できます。

https://${AWS::Region}.console.aws.amazon.com/cloudwatch/home?region=${AWS::Region}#logsV2:export-tasks

※ ${AWS::Region}にリージョンを指定

ロググループ毎の処理成功

Success map
          "Success map": {
            "Type": "Succeed"
          }

Map extractの配列要素1つに対する処理が成功した状態です。

ロググループ毎の処理失敗

Fail map
          "Fail map": {
            "Type": "Fail"
          }

Map extractの配列要素1つに対する処理が失敗した状態です。

残りの処理は打ち切られてステートマシンの実行は失敗扱いとなります。

全ロググループを処理するまでループする

Choice NextToken
    "Choice NextToken": {
      "Type": "Choice",
      "Choices": [
        {
          "Variable": "$.describe_log_groups.NextToken",
          "IsPresent": true,
          "Next": "Pass loop"
        }
      ],
      "Default": "Success"
    }

Map extractの処理が完了したので、再度DescribeLogGroupsを実行する必要があるかどうかを判定します。

AWSのAPI「DescribeLogGroups」がNextTokenを返していた場合、まだCloudWatch Logsのロググループが存在するので、Pass loopに遷移します。

NextTokenを返さなかった場合、CloudWatch Logsのすべてのロググループに対してエクスポートタスクが完了したので、Successに遷移します。

NextTokenを作成する

Pass loop
    "Pass loop": {
      "Type": "Pass",
      "Next": "DescribeLogGroups",
      "Parameters": {
        "args.$": "$.args",
        "NextToken.$": "$.describe_log_groups.NextToken"
      }
    }

再びDescribeLogGroupsを呼び出すためにNextTokenを設定します（NextToken以外の$.describe_log_groupsデータは不要なので、ここで捨てます。）。

設定したらDescribeLogGroupsに遷移して、同じ処理を繰り返します。

ステートマシン実行成功

Success
    "Success": {
      "Type": "Succeed"
    }

すべての処理が完了したので、ステートマシンの実行を終了します。

タイムアウトの設定

タイムアウトの設定
{
  "StartAt": "Lambda args-for-create-export-task",
  "States": {

    "～": "各ステートは省略　～"

  },
  "TimeoutSeconds": 86400,
  "Comment": "CloudWatch logsのログをS3バケットへエクスポート"
}

Step Functionsのアクティビティは最大1年の実行時間制限があります。

何らかの理由で無限ループに陥った場合を考慮して、タイムアウトを設定します。

By configuring a long timeout duration and actively sending a heartbeat, an activity in Step Functions can wait up to a year for an execution to complete.2

おわりに

使い慣れたプログラミング言語で実装した方が楽なので、新しい技術（Step Functions）に手を出すのは勇気がいったのですが、学習コストに見合う見返りがあったと思います。

Step Functionsは普段プログラミングをしている方であれば使いやすいと思います。
大変だったのはステート間のパラメータ受け渡しについてですが、以下の記事がとても分かりやすかったです。

「毎月最初の休日の12:00に自動実行させる」という要件は、クラウド型ジョブスケジューラーサービスを使うことで簡単に実現することができました。

参考情報

  1. https://docs.aws.amazon.com/ja_jp/managedservices/latest/userguide/log-customize-retention.html ↩

  2. https://docs.aws.amazon.com/step-functions/latest/dg/concepts-activities.html ↩ ↩2

  3. https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/S3Export.html ↩

  4. https://docs.aws.amazon.com/eventbridge/latest/userguide/eb-scheduled-rule-pattern.html ↩

  5. https://docs.aws.amazon.com/scheduler/latest/UserGuide/managing-schedule-context-attributes.html ↩

  6. 両方のケースで「/」の付与を切り分けすることは可能ですが、その場合は重複の可能性も考えないといけなくなります。 ↩

  7. https://docs.aws.amazon.com/step-functions/latest/dg/input-output-itemselector.html ↩

  8. https://docs.aws.amazon.com/AmazonCloudWatchLogs/latest/APIReference/API_CreateExportTask.html ↩ ↩2

  9. https://docs.aws.amazon.com/step-functions/latest/dg/state-map-inline.html ↩

  10. https://docs.aws.amazon.com/step-functions/latest/dg/intrinsic-functions.html#asl-intrsc-func-generic ↩

  11. https://repost.aws/knowledge-center/cloudwatch-logs-retrieve-data ↩

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?