AWSインフラ構築時のエラー対処備忘録

ECSコンテナサービスを作成中、バックエンド（Rails、Nginx）のサービス作成時に発生したエラーについて記録します。具体的には、NginxのCloudWatchログに以下のエラーが発生しました。

connect() to unix:///app/tmp/sockets/puma.sock failed (111: Connection refused) while connecting to upstream, client: 10.0.3.73, server: localhost, request: "GET /api/v1/health_check HTTP/1.1", upstream: "http://unix:///app/tmp/sockets/puma.sock:/api/v1/health_check", host: "10.0.4.4"

使用技術

・フロントエンド
　　UIフレームワーク：Nuxt.js(Vue.js), Vuetify
　　HTTP通信：axios
　　コード整形：ESLint/Prettier
・バックエンド
　　言語・フレームワーク：Ruby 3.1.3・Rails 7.0.4
　　コード品質：RuboCop
　　テスト：RSpec
　　サーバー：Nginx, Puma
　　データベース：MySQL 8.0.31
・インフラ/デプロイメント
　　コンテナ：Docker
　　クラウド：AWS (ECR,ECS,Fargate,VPC,S3,Route53,ALB,RDS,ACM,SSM,CloudWatch)
　　IaC(インフラコード化) ：Terraform
　　CI/CD ：GitHub Actions

調査1: NginxとPuma間の通信確認
NginxとPuma間の通信に問題がないか確認するために、まずDocker Composeでコンテナを立ち上げ、その後コンテナ内でソケットファイルの存在やパーミッションを確認しました。

nginxコンテナにアクセス

docker exec -it english_app2-web-1 /bin/sh

/ # ls -al /app/tmp/sockets
total 8
drwxr-xr-x  2 root   root     4096 Feb 10 03:28 .
drwxr-xr-x  7 root   root     4096 Dec 5 00:59 ..
srwxrwxrwx  1 root   root       0 Feb 10 03:28 puma.sock

rails側のコンテナにもアクセス

docker exec -it english_app2-api-1 /bin/sh
/app # ls -al /app/tmp/sockets
total 8
drwxr-xr-x  2 root   root     4096 Feb 10 12:28 .
drwxr-xr-x  7 root   root     4096 Dec 5 09:59 ..
srwxrwxrwx  1 root   root       0 Feb 10 12:28 puma.sock

結果、puma.sock が nginx コンテナと Rails アプリケーションが動作している api コンテナの両方に存在し、それぞれのコンテナで同じパス /app/tmp/sockets にあることが確認できました。次に、ECS ExecでECS起動コンテナにアクセスしました。
以下コマンドでNginxコンテナにアクセスし、

aws ecs execute-command \
 --region ap-northeast-1 \
 --cluster myapp-prod-ecs-cluster \
 --task b2e9b10e392b4094956a17071fa9d1da \
 --container myapp-prod-container-nginx \
 --command "/bin/sh" \
 --interactive

ソケットファイルの存在とパーミッション確認:

コマンド
ls -lah /app/tmp/sockets/
実行結果
/ # ls -lah /app/tmp/sockets/
total 8K   
drwxr-xr-x  2 root   root    4.0K Feb 11 10:53 .
drwxr-xr-x  7 root   root    4.0K Feb 11 10:52 ..
srwxrwxrwx  1 root   root      0 Feb 11 10:53 puma.sock

Nginxの設定ファイル検証:

コマンド
nginx -t
実行結果
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

Nginxのプロセス状態確認:

コマンド
ps aux | grep nginx
実行結果
/ # ps aux | grep nginx
  1 root   0:00 nginx: master process nginx -g daemon off;
  31 root   0:00 nginx: worker process
  32 root   0:00 nginx: worker process
  75 root   0:00 grep nginx

次に以下コマンドでrails側のコンテナにもアクセスし、

aws ecs execute-command \
 --region ap-northeast-1 \
 --cluster myapp-prod-ecs-cluster \
 --task b2e9b10e392b4094956a17071fa9d1da \
 --container myapp-prod-container-back \
 --command "/bin/sh" \
 --interactive

Pumaのプロセス状態確認:

コマンド
ps aux | grep puma
実行結果
root     1 0.1 15.4 242576 146992 ?    Ssl 19:52  0:04 puma 5.6.5 (unix:///app/tmp/sockets/puma.soc
root    102 0.0 0.0  1608  764 pts/0  S+  20:30  0:00 grep puma

ソケットファイルの存在とパーミッション確認:

コマンド
/app # ls -lah /app/tmp/sockets/
実行結果
total 8K   
drwxr-xr-x  2 root   root    4.0K Feb 11 19:53 .
drwxr-xr-x  7 root   root    4.0K Feb 11 19:52 ..
srwxrwxrwx  1 root   root      0 Feb 11 19:53 puma.sock

PumaとNginxの設定に問題はなく、両者間の接続も正常であることが確認できました。

調査2: コンテナ起動順序の確認
次に、RailsコンテナとNginxコンテナの起動順序に問題があるのではないかと考えました。Rails側（Puma）が先に起動する必要があるため、タスク定義でNginxコンテナのスタートアップの依存関係の順序に条件「START」を設定し、サービスを更新しました。しかし、エラーは解消しませんでした。

            "dependsOn": [
                {
                    "containerName": "myapp-prod-container-back",
                    "condition": "START"
                }

恐らくpumaが完全に起動する前にnginx側のコンテナが起動してしまっていることが原因と考えました。下記の記事等を参考にして、Rails側のコンテナにpumaのヘルスチェックを追加した上で、nginx側のdependsOn設定の「“condition”: “START”」の部分を「“condition”: “HEALTHY”」に変更しました。
https://bluepixel.hatenablog.com/entry/2020/04/22/230721

記事を参考にタスク定義の設定を行いましたが、サービス作成時にヘルスステータスが異常となっていました。原因は、curlコマンドがRailsコンテナにインストールされていなかったためでした。RailsコンテナにcurlをインストールするようDockerfileを修正し、ECRにプッシュしてECSサービスを更新したところ、Nginxのログにエラーが表示されなくなり、問題が解決しました。

dockerfileにcurlを追記

FROM ruby:3.1.3-alpine

ARG RUNTIME_PACKAGES="linux-headers libxml2-dev make gcc libc-dev nodejs tzdata mysql-dev mysql-client git yarn libc6-compat curl"
以下略

・rails側
HealthCheckオプションの設定

コマンド CMD-SHELL,curl --unix-socket /app/tmp/sockets/puma.sock http://localhost/api/v1/health_check || exit 1
間隔 30秒
タイムアウト 5秒
開始期間 15秒
再試行 3

スタートアップの既存関係の順序
設定なし
・Nginx側
HealthCheckオプションの設定
設定なし

スタートアップの既存関係の順序
条件:Healthy

以上