GitHub ActionsでAWS ECS FargateにgRPCサービスを自動デプロイする

はじめに

AWS ECS にgRPCサービスをFargate起動タイプにて自動デプロイするための設定を作成いたしました。

参考にしたテンプレート

GitHub Actions 公式docsに設定に関する解説とテンプレートが記載されているので、そちらを参考にして設定を進めました。

クラスターとサービスの作成

GitHub Acitonsを使用して自動デプロイを行うためには、あらかじめECS上にクラスターとサービスを作成しておく必要があります。
aws-cliを用いてローカル環境からリソースの作成を行うか、もしくはAWSコンソール画面からリソースの作成を行なってください。

タスク定義について

タスク定義のテンプレートリポジトリ内部にコミットしておきます。

task-definition.json

{
  "containerDefinitions": [
    {
      "name": "server",
      "image": "xxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/grpc-server-staging",
      "cpu": 0,
      "memoryReservation": 300,
      "portMappings": [
        {
          "containerPort": 50051,
          "hostPort": 50051,
          "protocol": "tcp"
        }
      ],
      "essential": true,
      "environment": [
        {
          "name": "DBDNS",
          "value": "$DB_DNS"
        }
      ],
      "mountPoints": [],
      "volumesFrom": [],
      "logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "/ecs/grpc-server-staging-task",
          "awslogs-region": "ap-northeast-1",
          "awslogs-stream-prefix": "ecs"
        }
      }
    }
  ],
  "family": "grpc-server-staging-task",
  "taskRoleArn": "arn:aws:iam::xxxxxxxxxx:role/ecsTaskExecutionRole",
  "executionRoleArn": "arn:aws:iam::xxxxxxxxxx:role/ecsTaskExecutionRole",
  "networkMode": "awsvpc",
  "volumes": [],
  "placementConstraints": [],
  "runtimePlatform": {
    "operatingSystemFamily": "LINUX"
  },
  "requiresCompatibilities": ["FARGATE"],
  "cpu": "256",
  "memory": "512",
  "tags": []
}

ymlに定義されたjobの解説

AWS Credentialのセットアップ

      - name: Configure AWS credentials
        uses: aws-actions/configure-aws-credentials@v1
        with:
          aws-access-key-id: ${{ secrets.STAGING_AWS_ACCESS_KEY }}
          aws-secret-access-key: ${{ secrets.STAGING_AWS_SECRET_KEY }}
          aws-region: ${{ env.AWS_REGION }}

GitHub ActionsからAWSのリソースにアクセスできるように、credentialのセットアップを行います。
AWS_ACCESS_KEYとAWS_SECRET_KEYに関しては、yamlファイル上にハードコーディングせずに、
あらかじめ、GitHubのGUIから環境変数として登録を行なっておきましょう。

deploymentポリシーの変更

      - name: Add deployment inline policy to AWS user
        env:
          AWS_ACCOUNT_ID: ${{ secrets.STAGING_AWS_ACCOUNT_ID }}
          AWS_ACCOUNT_USER: ${{ secrets.STAGING_AWS_ACCOUNT_USER }}
          DEPLOYMENT_POLICY_NAME: ${{ secrets.STAGING_DEPLOYMENT_POLICY_NAME }}
          DEPLOYMENT_POLICY_TEMPLATE: ${{ secrets.STAGING_DEPLOYMENT_POLICY_TEMPLATE }}
        run: |
          chmod +x ./ecs/grpc_server/staging/add_deployment_policy.sh
          ./ecs/grpc_server/staging/add_deployment_policy.sh

既存のIAMユーザのポリシー設定によって、AWSリソースへのアクセスが制限されている場合があると思います。
その際に、deploy処理を行うCD実行時のみ、AWSリソースへのアクセス権限を追加します。

ECSへのpush

      - name: Build, tag, and push image to Amazon ECR
        id: build-image
        env:
          ECR_REGISTRY: ${{ steps.login-ecr.outputs.registry }}
          IMAGE_TAG: ${{ github.sha }}
        run: |
          # Build a docker container and
          # push it to ECR so that it can
          # be deployed to ECS.
          docker build -t $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG .
          docker push $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG
          echo "::set-output name=image::$ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG"
        working-directory: src/backend-go

GitHub Acitionsの処理場で、docker imageのbuildを行い、AWS ECRのリポジトリにpushを行います。

環境変数をtask-definition内部に挿入する

      - name: Set Up the task definition
        env:
          STAGING_DB_DNS: ${{ secrets.STAGING_DB_DNS }}
        id: task-set
        run: |
          envsubst < ${{ env.ECS_TASK_DEFINITION }} > /tmp/task-definition.json

task-definition.json内部にて環境変数を参照する形式で定義されているパラメータが存在するので、yamlファイル上で参照されている環境変数をenvsubstコマンドを使用して、task-definition.json内の環境変数に代入されるようにします。

ECSクラスター上の既存サービスに反映するtaskを登録する

      - name: Fill in the new image ID in the Amazon ECS task definition
        id: task-def
        uses: aws-actions/amazon-ecs-render-task-definition@v1
        with:
          task-definition: /tmp/task-definition.json
          container-name: ${{ env.CONTAINER_NAME }}
          image: ${{ steps.build-image.outputs.image }}

ひとつ前までのjobで準備が整ったtask定義に関して、上記のjobにてtaskの登録を行います。
ここまで実行されるとdeployの準備は完了です。

Deploy

      - name: Deploy Amazon ECS task definition
        uses: aws-actions/amazon-ecs-deploy-task-definition@v1
        with:
          task-definition: ${{ steps.task-def.outputs.task-definition }}
          service: ${{ env.ECS_SERVICE }}
          cluster: ${{ env.ECS_CLUSTER }}
          wait-for-service-stability: true

task-definition: ${{ steps.task-def.outputs.task-definition }}を指定して、ひとつ前のjobで定義された task-definitionを引き継いだ上でデプロイ処理を実行する必要があります。
task-definitionでひとつ前のjobで定義された設定を明示しないと、テンプレートのtask定義ファイルを適用対象としてしまい、最新のdocker imageがデプロイ対象のサービスに適用されない場合があります。
（私は、この設定が漏れていたことで数時間を無駄にしました。。）

完成版

deploy.yml

name: (staging) Deploy grpc-server-service staging to ECS

on:
  push:
    paths:
      - "src/backend-go/**"

env:
  AWS_REGION: ap-northeast-1
  ECR_REPOSITORY: grpc-server-staging
  ECS_SERVICE: grpc-server-staging-service
  ECS_CLUSTER: grpc-staging-cluster
  ECS_TASK_DEFINITION: ./ecs/grpc_server/staging/task-definition.json
  CONTAINER_NAME: server

jobs:
  deploy:
    name: Deploy
    runs-on: ubuntu-latest

    steps:
      - name: Checkout
        uses: actions/checkout@v3

      - name: Configure AWS credentials
        uses: aws-actions/configure-aws-credentials@v1
        with:
          aws-access-key-id: ${{ secrets.STAGING_AWS_ACCESS_KEY }}
          aws-secret-access-key: ${{ secrets.STAGING_AWS_SECRET_KEY }}
          aws-region: ${{ env.AWS_REGION }}

      - name: Add deployment inline policy to AWS user
        env:
          AWS_ACCOUNT_ID: ${{ secrets.STAGING_AWS_ACCOUNT_ID }}
          AWS_ACCOUNT_USER: ${{ secrets.STAGING_AWS_ACCOUNT_USER }}
          DEPLOYMENT_POLICY_NAME: ${{ secrets.STAGING_DEPLOYMENT_POLICY_NAME }}
          DEPLOYMENT_POLICY_TEMPLATE: ${{ secrets.STAGING_DEPLOYMENT_POLICY_TEMPLATE }}
        run: |
          chmod +x ./ecs/grpc_server/staging/add_deployment_policy.sh
          ./ecs/grpc_server/staging/add_deployment_policy.sh

      - name: Login to Amazon ECR
        id: login-ecr
        uses: aws-actions/amazon-ecr-login@v1

      - name: Install Protoc
        uses: arduino/setup-protoc@v1
        with:
          version: "3.19.4"

      - name: Make generate
        run: |
          go install google.golang.org/protobuf/cmd/protoc-gen-go@v1.28
          go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@v1.2
          export PATH="$PATH:$(go env GOPATH)/bin"
          mkdir genproto
          make generate
        working-directory: src/backend-go

      - name: Build, tag, and push image to Amazon ECR
        id: build-image
        env:
          ECR_REGISTRY: ${{ steps.login-ecr.outputs.registry }}
          IMAGE_TAG: ${{ github.sha }}
        run: |
          # Build a docker container and
          # push it to ECR so that it can
          # be deployed to ECS.
          docker build -t $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG .
          docker push $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG
          echo "::set-output name=image::$ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG"
        working-directory: src/backend-go

      - name: Set Up the task definition
        env:
          STAGING_DB_DNS: ${{ secrets.STAGING_DB_DNS }}
        id: task-set
        run: |
          envsubst < ${{ env.ECS_TASK_DEFINITION }} > /tmp/task-definition.json

      - name: Fill in the new image ID in the Amazon ECS task definition
        id: task-def
        uses: aws-actions/amazon-ecs-render-task-definition@v1
        with:
          task-definition: /tmp/task-definition.json
          container-name: ${{ env.CONTAINER_NAME }}
          image: ${{ steps.build-image.outputs.image }}

      - name: Deploy Amazon ECS task definition
        uses: aws-actions/amazon-ecs-deploy-task-definition@v1
        with:
          task-definition: ${{ steps.task-def.outputs.task-definition }}
          service: ${{ env.ECS_SERVICE }}
          cluster: ${{ env.ECS_CLUSTER }}
          wait-for-service-stability: true

終わりに

今回はECSのFargate起動タイプを使用した際における、GitHub Actionsの設定を解説しましたが、EC2起動タイプにを選定した際にも同じような形式で設定を行うことができると思います。