やりたいこと

SESを使ってメールを送信していますが、メール送信に失敗することが多々ありました。
その原因調査をするために、送信失敗したSESのログをS3で集計できるようにしたいと思います。

手順

今回はKinesisとS3を使ってSESのログ収集できるようにします。

S3バケットを作成
Kinesisの配信ストリームを作成
SESConfigurationSetsを作成
SESConfigurationSetのロールを作成
SESConfigurationSetのイベントと送信先を設定
ログがS3に保存されるかテスト
ログ収集したいドメインとConfigurationSetを紐づけ

S3にバケットを作成する

SESのログを保存するためのS3バケットを作成する。

AWSコンソールからS3へ遷移して、「バケットを作成」を押す
適当なバケット名を入力する（今回はSES-logs）
その他は環境に合わせて項目を選択し「バケットを作成する」で新たなバケットが作成できる

Kinesisで配信ストリームを作成する

SESからS3にログデータを送信する繋ぎの部分をKinesisに作成する。

Amazon Kinesis > 配信ストリーム（もしくはDelivery streams）に移動して、「Create delivery stream」からストリームを作成する
環境に合わせた項目を選択する

Source: Direct PUT
Destination: Amazon S3
Delivery stream name: SESToS3
適当な名前を入力
S3 bucket: SES-logs
先ほど作成したバケットを選択
S3 bucket prefix: bounce/!{timestamp:yyyy}-!{timestamp:MM}-!{timestamp:dd}/
S3バケット内でどのようにファイル分けするか設定できる（入力しなくてもOK）
今回は日付で分けられて出力されるように設定（例えば、bounce/2022-03-24/）
カスタムプレフィックスについてはこちらを参照
S3 bucket error output prefix: errors/
出力エラーがあった際に、バケット内のどこに出力するかを設定する（入力しなくてもOK）
Buffer interval: 60
データを収集する間隔を設定する
デフォルト300のままでもOK

最後に「Create delivery stream」を押してストリームを作成する

SESの設定を作成する

SESの送信ログをKinesisに送るように設定する。

Amazon SES > Configuration setsの「Create set」で設定を作成する
適当な設定名を入力する

SESからKinesisにログを送るためのロールを作成する

IAM > ロールで「ロールを作成する」
信頼されたエンティティを設定する

信頼されたエンティティタイプ: カスタム信頼ポリシー
カスタム信頼ポリシー:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "",
            "Effect": "Allow",
            "Principal": {
                "Service": "ses.amazonaws.com"
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                    "AWS:SourceAccount": "xxxxxxxxxxx",
                    "AWS:SourceArn": "arn:aws:ses:ap-northeast-1:xxxxxxxxxxx:configuration-set/SendMailLog"
                }
            }
        }
    ]
}

※ap-northeast-1はSESのリージョンに合わせて変更する
※xxxxxxxxxxxはAWSのアカウントIDに変更する
※SendMailLogは先ほど作成したSESConfigurationSet名を指定する

ステップ２の許可追加は何もしないで進める
ロール名を入力して「ロールを作成」する
先ほど作成したロールにポリシーを追加する
インラインポリシーを設定する

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "",
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecordBatch"
            ],
            "Resource": [
                "arn:aws:firehose:ap-northeast-1:xxxxxxxxxxxx:deliverystream/SESToS3"
            ]
        }
    ]
}

※xxxxxxxxxxxxははAWSのアカウントIDに変更する
※SESToS3はKinesisで作成したDeliveryStream名を指定する

SESConfigurationSetのイベントと送信先を設定する

イベントと送信先を設定する
AmazonSES > Configuration sets > SendMailLog（先ほど作成した設定） >　Event destinations で「Add destination」を押す
どのイベント時にログを送信するか設定する
今回はメール送信が失敗した場合のみログを送信する
送信先をKinesisに設定する

Destination type: Amazon Kinesis Data Firehose
Name: BounceEvent_ToKinesis
適当な名前を入力する
Delivery stream: SESToS3
Kinesisで作成したDeliveryStreamを選択する
Identity and Access Management (IAM) Role: ses-to-kinesis-policy
先ほど作成したIAMロールを選択する