AWS Batchの環境をCloudFormationを使って自動構築し簡単なアプリケーションを実行するまで

本記事でやること

• AWS Batchのコンピューティング環境やジョブ定義などをCloudFormationを使って構築する
• AWS Batchにジョブを送り、S3のバケット名を取得するアプリケーションを実行する

上記を達成するために予め行うこと

• AWS ECRを使ってアプリケーションのDocker imageをpushする

以下に関しては、記載しないので他の記事を参照してください。

• AWS ECSを使用するにあたって必要なVPCやSubnet、セキュリティーグループの作成
• AWS BatchやECSにアクセスするためのIAMロールの作成

対象読者

• Dockerについて一通り基礎的な書籍を読んで、何か動くものを作りたい方
• AWS BatchやCloudFormationを使って何かしたい方

使用言語

python 3.6.3

AWS ECRを使ってアプリケーションのDocker imageをpushする

AWS ECSがコンテナを作成する際にpullするDocker imageを予めAWS ECRにpushする。
また、アプリケーションのファイルやディレクトリ構成は以下の通り。

ディレクトリ構成

.
├── infra
│   ├── Dockerfile
│   ├── .vault_password
│   ├── .aws
│   │    └── config
│   │    └── credentials
│   └── batch_config
│       └── cloudformation.yml
└── run.py

Dockerfile

FROM hogehoge.ecr.ap-northeast-1.amazonaws.com/python:latest

# userの作成
RUN groupadd -g 10000 test && \
    useradd  -u 10000 -g test -s /bin/bash test && \
    echo 'test:test' | chpasswd

ENV HOME /home/test
WORKDIR $HOME
RUN chown test:test -hR ./

USER test

ADD --chown=test:test infra/ $HOME

# 暗号化されているaws認証情報を復元する
RUN ansible-vault decrypt .aws/credentials --vault-password-file .vault_password

ADD --chown=test:test . test
USER root
WORKDIR /home/test/test

CMD ["python", "run.py"]

上記、Dockerfileのベースとなっているimageに関しては、こちらの記事で紹介しているので適宜参照してください。（ベースとなっているimageは、pythonイメージにansibleをインストールしたimageです）

Dockerfile内のCMD箇所で実行しているアプリケーションのファイルの中身は以下のようになっています。（S3のバケット名を取得するスクリプトになっています）

run.py

from boto3.session import Session

def get_bucket_list():
    resource = Session(profile_name="local").resource("s3")

    for bucket in resource.buckets.all():
        print(bucket.name)

if __name__ == '__main__':
    get_bucket_list()

上記Dockerfileをinfra/以下に置き、下記のコマンドでAWS ECRにプッシュする。

bash

# ECRにログインする
$(aws ecr get-login --no-include-email --region ap-northeast-1 --profile hoge)

# イメージのビルド（イメージの名前は適当に"python"とする）
docker build -t test-app .

# 上でビルドしたイメージにタグをつける(hogehogeの部分には)
docker tag test-app:latest hogehoge.dkr.ecr.ap-northeast-1.amazonaws.com/test-app:latest

# イメージをAWS ECRにプッシュする
docker push hogehoge.dkr.ecr.ap-northeast-1.amazonaws.com/test-app:latest

AWS Batchの環境をAWS CloudFormationを使って構築する

以下のcloudformation.ymlファイルを使ってAWS Batchの環境を構築する。set parametersの箇所でのsubnet-idやEC2インスタンスのkeyペア、ECS / BatchのIAMロールのARNは各自用意をしコピペする。

cloudformation.yml

AWSTemplateFormatVersion: 2010-09-09
Description: Build AWS Batch environment

# =======set parameters======== #
Parameters:
  SubnetIds:
    Description: Subnets For ComputeEnvironment
    Type: List<AWS::EC2::Subnet::Id>
    Default: subnet-id
  SecurityGroupIds:
    Description: SecurityGroups For ComputeEnvironment
    Type: List<AWS::EC2::SecurityGroup::Id>
    Default: sg-id
  KeyPair:
    Description: key pair
    Type: String
    Default: key
  image:
    Type: String
    Description: image in container registory
    Default: hogehoge.ecr.ap-northeast-1.amazonaws.com/awsbatch/test-app:latest
  ecsInstanceRole:
    Type: String
    Description: Role For AWS EcsInstanceRole
    Default: arn:aws:iam::hogehoge:instance-profile/ecsInstanceRole
  AWSBatchServiceRole:
    Type: String
    Description: Role For AWS BatchRole
    Default: arn:aws:iam::hogehoge:role/service-role/AWSBatchServiceRole

# =======Batch======== #
# create ComputeEnvironment
Resources:
  MyComputeEnv:
    Type: "AWS::Batch::ComputeEnvironment"
    Properties:
      Type: MANAGED
      ServiceRole: !Ref AWSBatchServiceRole
      ComputeEnvironmentName: "test-batch-compute-environment"
      ComputeResources:
        MaxvCpus: 256
        MinvCpus: 0
        DesiredvCpus: 0
        SecurityGroupIds: !Ref SecurityGroupIds
        Type: EC2
        Subnets: !Ref SubnetIds
        Ec2KeyPair: !Ref KeyPair
        InstanceRole: !Ref ecsInstanceRole
        InstanceTypes:
          - optimal
        Tags:
          Name: "test-batch-computer"
      State: ENABLED

  # Create JobQueue
  MyJobQueue:
    Type: AWS::Batch::JobQueue
    Properties:
      ComputeEnvironmentOrder:
        - Order: 1
          ComputeEnvironment: !Ref MyComputeEnv
      State: ENABLED
      Priority: 1
      JobQueueName: "s3_get_bucket_list"

  # Create JobDefinition
  MyJobDefinition:
    Type: AWS::Batch::JobDefinition
    Properties:
      Type: container
      JobDefinitionName: "test-batch-job"
      ContainerProperties:
        Memory: 16000
        Vcpus: 1
        Image: !Ref image
      RetryStrategy:
        Attempts: 1

aws cliを使って以下のコマンドでAWS Batchの環境を自動構築する。

bash

aws cloudformation create-stack \
--stack-name aws-batch \
--template-body file://$PWD/infra/batch_config/cloudformation.yml \
--profile hoge

AWS Batchにジョブを送り、S3のバケット名を取得するアプリケーションを実行する

上記のコマンドでAWS Batchの環境が構築されたことを確認できたら、以下のコマンドでジョブを送信する。

bash

JOB_DEFINITION_ARN=$( aws batch describe-job-definitions \
  --job-definition-name "s3_get_bucket_list" \
  --status ACTIVE \
  --profile hoge \
  | jq -r '.jobDefinitions | max_by(.revision).jobDefinitionArn' \
) && echo ${JOB_DEFINITION_ARN} 

aws batch submit-job \
--job-name "test-job" \
--job-queue "s3_get_bucket_list" \
--job-definition ${JOB_DEFINITION_ARN}  \
--profile hoge

ジョブのキューがSUCCEEDEDになったら、AWS CloudWatch LogsにS3のバケット名が出力されていることが確認できたら無事完了です。

また、無事完了できたら今回CloudFormationで作成した諸々の環境は、削除しておきましょう。
削除するためには以下のコマンド実行します。

bash

aws cloudformation delete-stack --stack-name aws-batch --profile hoge

終わりに

前回の記事では、ローカル環境でDockerコンテナを作成・起動をしAWS S3のバケット名を取得しましたが、今回はAWS Batchを使ってECSでコンテナを作成・起動を行いました。
また今回はターミナルでコマンドを叩いてAWS Batchにジョブを送信しましたが、AWS lambdaを使ってジョブを送信することも可能です。またCloudwatch eventsでlambdaを定期的に起動することが出来ればBatchも定期実行することができます。次回は、AWS lambdaでBatchにジョブを送るlambda functionに関する記事を作成出来ればと思います。