More than 3 years have passed since last update.

ECSタスクスケジュールでmysqldumpを日次で実行してs3にアップ

Last updated at 2021-06-10Posted at 2021-06-10

はじめに

EC2上でcron実行していたMySQLのdump実行環境をECSに移行しました。
ecsのタスクスケジュールでdumpを取得してS3にアップした備忘録になります。

利用するコンテナイメージ

作業の流れ

MySQLコンテナイメージの作成とAWSCLIのインストール
コンテナのbuildとイメージをECRにpush
パラメータストアにDBのアクセス情報を登録
ECSタスク定義に登録
タスクスケジュールに登録

1. MySQLコンテナイメージの作成とAWSCLIのインストール

公式からcloneして、既存のDockerfileとdocker-entrypoint.sh を書き換えます
MySQL+AWSCLIを入れます。

$ git clone https://github.com/mysql/mysql-docker.git
$ cd mysql-docker/mysql-server/8.0
$ vim Dockerfile

以下に置き換えます。

FROM oraclelinux:7-slim

ARG MYSQL_SERVER_PACKAGE=mysql-community-server-minimal-8.0.20
ARG MYSQL_SHELL_PACKAGE=mysql-shell-8.0.20

# Install server
RUN yum install -y https://repo.mysql.com/mysql-community-minimal-release-el7.rpm \
      https://repo.mysql.com/mysql-community-release-el7.rpm \
  && yum-config-manager --enable mysql80-server-minimal \
  && yum install -y \
      $MYSQL_SERVER_PACKAGE \
      $MYSQL_SHELL_PACKAGE \
      libpwquality \
  && yum clean all \
  && mkdir /docker-entrypoint-initdb.d

#AWSCLI install
RUN yum install -y python3
RUN pip3 install awscli

VOLUME /var/lib/mysql

COPY docker-entrypoint.sh /docker-entrypoint.sh
CMD ["/docker-entrypoint.sh"]

docker-entrypoint.sh を以下に書き換えます。
BACKUP_DB_PASSWORD
DB_USER
DB_HOST
BACKUP_S3_BUCKET
については、後にパラメータストア等で定義します。

$ vim docker-entrypoint.sh

docker-entrypoint.sh

#!/bin/bash

BACKUP_DIR='/tmp'
DATE=$(date '+%Y%m%d')


mysqldump -R -u${DB_USER} -p${BACKUP_DB_PASSWORD} -h ${DB_HOST} --single-transaction --all-databases --default-character-set=binary --set-gtid-purged=off --skip-column-statistics | gzip > ${BACKUP_DIR}/${DATE}_mysqldump.sql.gz
aws s3 cp ${BACKUP_DIR}/${DATE}_mysqldump.sql.gz $BACKUP_S3_BUCKET/${DATE}_mysqldump.sql.gz --region ap-northeast-1

2. コンテナのbuildとイメージをECRにpush

ECRにログインします。
xxxxの部分は自AWS環境のECRレポジトリに置き換えてください。

$ aws ecr get-login-password --region ap-northeast-1 | docker login --username AWS --password-stdin xxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com

buildとpushを行います。

$ docker build --no-cache -t dbbackup-task .
$ docker tag dbbackup-task:latest xxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/dbbackup-task:latest
$ docker push xxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/dbbackup-task:latest

3.パラメータストアにDBのアクセス情報を登録

BACKUP_DB_PASSWORD
BACKUP_S3_BUCKET
DB_USER
DB_HOST
docker-entrypoint.shで変数に設定した上記をパラメータストアに登録します。
passwordについてはSecureStringで、その他はStringで良いと思います。
このあたりの登録方法は割愛します。