1. はじめに

こんな感じで S3 バケットのバックアップを定期的に取りたい。
バックアップ元の S3 バケットとバックアップ先の S3 バケットを異なるAWSアカウントにしたい。
バックアップ元の S3 でオブジェクトファイルが削除されても、バックアップ先のオブジェクトファイルでは削除したくない。
バックアップバッチ用のEC2（常時起動）ではなく、コンテナ（バックアップ処理時間だけ起動）で実行したい。
S3 のレプリケーション機能で実現できるかどうか少し調べてみたけど、次の理由で今回は見送りした。
バックアップ元の S3 バケットにはすでにオブジェクトが入っている。
- 既存のオブジェクトをレプリケーションする場合は、AWS サポートへ対応を依頼しないといけない。
- レプリケーションがいつ開始されるのか不明（参考:いつの間に！？既存オブジェクトを S3 レプリケーション出来るようになっていた！）。

2. 構成図

3. 概要

3.1. バックアップ元側の AWS アカウント

AWSアカウント
example-1
アカウントID
111111111111
バックアップ元S3バケット
バケット名: original-111111111111
「パブリックアクセスを全てブロックする」設定をチェックする。
バージョニング設定は任意（停止でもよい）。
Role
Containerに割り当てる。
バックアップ元S3バケット original-111111111111 に対して、「s3:ListBucket」と「s3:GetObject」を許可する。
バックアック先S3バケット backup-222222222222 に対して、「s3:ListBucket」と「s3:PutObject」を許可する。
ECR
リポジトリ名: infra-batch-repository
作業PCで作成したバックアップバッチ用のコンテナイメージを登録する。
ECS
ECSクラスター名: infra-batch
起動タイプ: Fargate
Fargate, Container
CloudWatchイベントのトリガで ECR からイメージを取得して、パブリックサブネット内にコンテナを作成して、s3 sync を実行する。
s3 sync を実行する Container は外部ネットワークへ出ていける環境で起動する。
- パブリックサブネット
- Security group のアウトバウンドはすべてを許可する
- パブリック IP の自動割り当ては「ENABLED」にする

3.2. バックアップ先側の AWS アカウント

AWSアカウント名
example-2
アカウントID
222222222222
バックアップ先S3バケット
バケット名: backup-222222222222
「パブリックアクセスを全てブロックする」設定をチェックする
バージョニング設定は任意（停止でもよい）
バケットポリシーで、AWSアカウント example-1(111111111111) の Role にアクセス権限を付与する。
バックアップオブジェクトは S3 スタンダード-IA クラスに保存する（s3 sycn 実行時に「--storage-class STANDARD_IA」を指定）。

4. 設定

4.1. Container に割り当てる Role を作成 (バックアップ元側の AWS アカウントでの作業)

IAMポリシー作成
名前: s3-sync-backup

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::original-111111111111",
                "arn:aws:s3:::original-111111111111/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::backup-222222222222",
                "arn:aws:s3:::backup-222222222222/*"
            ]
        }
    ]
}

IAMロール作成
名前: s3-sync-backup
信頼されたエンティティ: ecs-tasks.amazonaws.com
アタッチするポリシー: s3-sync-backup

4.2. バックアップ先 S3 バケットのバケットポリシー (バックアップ先側の AWS アカウントでの作業)

AWSアカウント example-2 (222222222222) の S3 バケット backup-222222222222 への「s3:ListBucket」と「s3:PutObject」の許可権限を、AWSアカウント example-1 (111111111111) の Role s3-sync-backup に付与する。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111111111111:role/s3-sync-backup"
            },
            "Action": [
                "s3:ListBucket",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::backup-222222222222",
                "arn:aws:s3:::backup-222222222222/*"
            ]
        }
    ]
}

4.3. ECR リポジトリ作成 (バックアップ元側の AWS アカウントでの作業)

詳しい設定方法は割愛。
ここでは、「infra-batch-repository」というリポジトリを作成して利用する。

4.4. コンテナイメージを作成して、ECRへプッシュする（作業PCでの実施）

Dockerfile
最近リリースされた「AWS CLI v2 Docker image」を使う。

FROM amazon/aws-cli:latest
ENTRYPOINT ["aws"]
CMD ["s3","sync","--dryrun","--storage-class STANDARD_IA","s3://original-111111111111","s3://backup-222222222222"]

タグを付けてビルドする

$ docker build -t infra-batch-repository:s3-sync-backup .

ECRにプッシュするためのタグを付ける

$ docker tag infra-batch-repository:s3-sync-backup 111111111111.dkr.ecr.ap-northeast-1.amazonaws.com/infra-batch-repository:s3-sync-backup

AWS ECR レジストリ用の docker login 認証コマンド文字列(12時間有効な認証トークン)を取得する

$ aws ecr get-login --no-include-email
$ docker login -u AWS -p 認証トークン

イメージを ECR へプッシュする

$ docker push 111111111111.dkr.ecr.ap-northeast-1.amazonaws.com/infra-batch-repository:s3-sync-backup

4.5. ECSクラスター作成 (バックアップ元側の AWS アカウントでの作業)

「AWS Fargate を使用」を利用する。
クラスター名
infra-batch

4.6. タスク定義を作成

↓

↓

↓

↓

↓

↓
確認

4.7. タスクスケジュールを作成

↓

Cron式の設定は UTC なので、 cron(0 19 * * ? *) は日本時間で毎日04:00
サブネットは、任意のパブリックサブネットを指定する
セキュリティグループは、アウトバウンドをすべて許可の設定になっている任意のものを指定する。
パブリック IP の自動割り当ては「ENABLED」にする。
↓
確認

※CloudWatch のイベントルールや、Amazon EventBridge のイベントルールにも設定が反映される。

5. タスク実行のログ

実行ログは CloudWatch のロググループの /ecs/s3-sync-backup に出力される
ログの例

6. 注意点

s3 sync の動作確認は、--dryrun オプションを付けて実行し、実行ログから挙動が正しいか確認する。
--dryrun: Displays the operations that would be performed using the specified command without actually running them.
バックアップ元のS3バケットのオブジェクト数やサイズが多い場合は、最初の s3 sync (フルサイズバックアップ）は作業PC上から s3 sync を実行した方がよい。

$ s3 sync --dryrun --storage-class STANDARD_IA s3://original-111111111111 s3://backup-222222222222
<ログ確認>
$ s3 sync --storage-class STANDARD_IA s3://original-111111111111 s3://backup-222222222222