こんにちは。
株式会社クラスアクトインフラストラクチャ事業部の大塚です。

前回CloudWatch Logsに蓄積させたログをS3に手動でエクスポートする手順を確認しました。

今回はこの続きで、EventBridgeを使用して自動でS3にエクスポートする手順をメモって行きたいと思います。
EventBridgeを使うことで、Linuxで言うcron、Windowsで言うTask Scheduler的なことがAWSで出来るので良い感じですね。

環境イメージ

以下のような形となります。
EC2からCloudWatch AgentでCloudWatch Logsにログを自動アップロード。アップロードされたものEventBridge Schedulerを使って1分間隔でS3にエクスポートしていきたいと思います。

構築

IAM Role作成

EventBridge SchedulerにアタッチするためのIAM Roleを作成していきます。
IAM Role作成画面でカスタム信頼ポリシーを選択し、ポリシーに以下の内容を書いていきます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "scheduler.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

※scheduler.amazonaws.com（＝EventBridge Scheduler）が今作っているIAM Roleを使用して定義されたアクション（IAMロールにアタッチされたアクセスポリシー。今回は後からCloudWatchLogsFullAccessをアタッチするのでそれのこと）を実行することが出来るようになる、という意味っぽいです。
許可を追加の画面でCloudWatchLogsFullAccessをアタッチします。

Roleの名前はEventBridge-add-task-to-CloudWatchLogsとしました。

EventBridge Schedulerの作成

EventBridge Schedulerの画面からスケジュールを作成を押下します。

Schedulerの名前はCloudWatchLogs-S3Exportとしました。
スケジュールパターンの頻度は定期的なスケジュールを選択。種類はrateベースとし、1 minutesとし1分間隔でスケジューリングしました。

ターゲットを選択します。CloudWatch Logsを選択します。

その後CreateExportTaskを選択します。

タスクの詳細を記入します。今回は以下としました。
LogGroupNameはCloudWatchLogsにあるロググループの名前です。
FromとToはエポック時間ミリ秒単位で開始時間と終了時間を記載します。AIに「エポック時間で2024年1月1日から12月31日までにしてください」みたいなことを聞いて出力してきたのをとりあえず入れています。
DestinationはS3バケットの名前を。Prefixはバケットの中のディレクトリを示しています。<aws.scheduler.scheduled-time>はタスク実行時間になり、実行ごとにフォルダを作るようにしています。

{
  "LogGroupName": "ApplicationEventLog",
  "From": 1704067200000,
  "To": 1735689599000,
  "Destination": "wineventlog-cloudwatchlogs",
  "DestinationPrefix": "ApplicationEventLog/<aws.scheduler.scheduled-time>"
}

参考

CloudWatch Logsのロググループ

S3バケットと内部のディレクトリ（プレフィックス）

アクセス許可に作成したIAM Roleをアタッチします。この後の画面で最終確認が表示されますので確認します。

作成されたことを確認します。

S3に自動エクスポートされるか確認する

指定したS3バケット/プレフィックスに自動でエクスポートされているかを確認します。

CloudWatch LogsからS3にエクスポートしたことで、Logsにあるログを削除したいところです。
これに関しては今後・・・