はじめに

S3間で40TB以上のデータ移行が必要になり、普通にやると約2日かかる。
そこで、tmuxを使用しセッションが切れても実行し続ける環境をEC2インスタンス上で構築しました。
その時の学習をアウトプットできればと思います。

手順

前提
- EC2インスタンスにSSM接続ができるように設定する
- EC2を起動するサブネットへS3用のエンドポイントを作成
手順
　1. 【targetアカウント】EC2用のIAMロールを作成
　2. 【sourceアカウント】バケットポリシーを作成
　3. 【targetアカウント】EC2インスタンスにtmuxをインストール
　4. 【targetアカウント】tmuxで新規シェルを作成し、移行コマンドの実行

今回の構成図

手順1 【targetアカウント】EC2用のIAMロールを作成

1.1 下記カスタマ管理ポリシーを作成

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::<sourceのS3バケット名>",
                "arn:aws:s3:::<sourceのS3バケット名>/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:PutObject",
                "s3:PutObjectAcl",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::<targetのS3バケット名>",
                "arn:aws:s3:::<targetのS3バケット名>/*"
            ]
        }
    ]
}

1.2 カスタマー管理ポリシーを、EC2へアタッチするIAMロールへ追加

手順2　【sourceアカウント】バケットポリシーを作成

下記バケットポリシーをsorceアカウントの対象S3バケットのバケットポリシーに記入します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AddCannedAcl",
      "Effect": "Allow",
      "Principal": {
        "AWS": "<EC2へアタッチしたIAMロールのARN>"
      },
      "Action": [
        "s3:ListBucket",
        "s3:GetObject",
        "s3:GetObjectTagging"
      ],
      "Resource": [
        "arn:aws:s3:::<targetのS3バケット名>",
        "arn:aws:s3:::<targetのS3バケット名>/*"
      ]
    }
  ]
}

ここまでで、EC2へSSM接続しsorceアカウントの対象のS3バケットのオブジェクト名など取得できることを確認する。

# 下記コマンドで、オブジェクト名が表示されたら成功
$ aws s3 ls s3://<sourceのS3バケット名>

オブジェクト名が取得できなければ、
・バケットポリシーの内容
・S3用のエンドポンとがあるか
など確認する。

手順3　【targetアカウント】EC2インスタンスにtmuxをインストール

tmuxとは

端末多重化ソフトウェア（ターミナル画面を複数開くことで、同時作業が可能になる）

tmuxを使用する背景：

セッションマネージャーにはセッション維持の制限時間があるが、tmuxで作成したターミナルは明示的にセッションを終了しなければ維持され続ける。
冒頭でも書いたように、今回は40TB以上のデータを移行するので最低でも2日間はセッションを維持しておく必要がある。

# 下記コマンドでインストール
$ sudo yum install -y tmux

手順4　【targetアカウント】tmuxで新規シェルを作成し、移行コマンドの実行

4.1 新規セッションの起動

# 下記コマンドで新規セッションの開始
$ tmux new -s <セッション名>

4.2 起動したセッションで、コマンドを実行

# 下記コマンドでデータ移行
aws s3 sync s3://<sourceバケット名> s3://<targetバケット名>/ --acl bucket-owner-full-control

無事データが移行できていることを確認！

4.3 【番外】tmuxのセッションから抜ける方法

ctrl + bを押した後に dを入力

参考

Amazon S3 の VPC エンドポイントのタイプ
 とほほのtmux入門