はじめに
流行りのSonarQubeをコンテナ化して使ってみた。
コンテナ化しないで使ってみた系な記事は
【Developers.IO】SonarQubeでソースコードの静的解析とレビューを自動化してみる(前編)
あたりを参考に。
RDSの準備
コンテナ化するからにはデータを腹抱えしちゃダメでしょ、ということでDBはRDSに切り出す。
ひとまずPostgreSQLを指定して適当に起動(作成するDB名はsonarを指定しておく)してから、psqlクライアントが入っているEC2とかから、以下の様にコマンドを発行してログインする。
$ psql -U [DBアドミニストレータ名] -d sonar -h [DBインスタンスID].xxxxxxx.ap-northeast-1.rds.amazonaws.com
ログイン出来たら、ユーザを作成する。
sonar=> create role sonar with LOGIN password 'sonar';
これで準備完了。お手軽！
※ちゃんと使う場合はセキュリティグループとかは当然ちゃんと設定する。
EC2の準備
とりあえずEC2上でサクっとで起動することを考える。
インスタンスタイプは、最低でもメモリサイズをsmall以上にしておく。
t2.micro ではメモリが足りなくて非コンテナでJavaがエラーを吐いたり、Dockerで起動したらストールしたりする。
インターネットで検索すると、Docker Composeしたりしているが、データをRDSに切り出しているのでコマンドラインで起動しても問題ないと考えよう。
Dockerをインストールする。
$ sudo yum update
$ sudo yum install -y docker
$ sudo service docker start
でDockerを起動してから、
$ sudo usermod -a -G docker ec2-user
$ cat /etc/group | grep docker
で docker グループにコンテナ起動ユーザを登録して、再ログイン。
ログインしたら
sudo docker run --ulimit nofile=65536 --ulimit nproc=4096 \
--env SONARQUBE_JDBC_USERNAME="sonar" \
--env SONARQUBE_JDBC_PASSWORD="sonar" \
--env SONARQUBE_JDBC_URL="jdbc:postgresql://[RDSのエンドポイント]/sonar" \
--name sonarqube -p 80:9000 sonarqube:7.9.3-community
で起動して、EC2にアクセスすれば普通に使えるようになってる！やった！
ポイントは、--ulimit nofile=65536 --ulimit nproc=4096の部分で、これを指定しておかないと、
2020.05.03 07:02:32 INFO es[][o.e.n.Node] starting ...
ERROR: [1] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
2020.05.03 07:02:33 WARN app[][o.s.a.p.AbstractManagedProcess] Process exited with exit value [es]: 78
といったエラーが出てElasticSearchが起動しない。
いや、コンテナ使うのにカーネルパラメータいじるなよ、というツッコミは抜きにしてね……。
サーバレスを目指す
さらに、コンテナ化ができたらサーバレスにしたくなるのが人間の性というもの。
コンテナを以下のコマンドでECRに登録する。
$ docker tag sonarqube:7.9.3-community [AWSのアカウントID].dkr.ecr.ap-northeast-1.amazonaws.com/sonarqube:7.9.3-community
$ docker push [AWSのアカウントID].dkr.ecr.ap-northeast-1.amazonaws.com/sonarqube:7.9.3-community
その後、タスク登録してECSクラスタ立ててFargateの起動モードでサービス・タスクを起動する。
ポイントは、EC2でDockerコンテナで起動した時同様に、ちゃんと環境変数やulimitを設定してあげること。
環境変数
ulimit
さらに、本来であればsysctlコマンドでvm.max_map_count = 262144で設定してあげるべきところだが、残念ながらECSのSystemControlsプロパティではvm.*のカーネルパラメータ変更に対応していないようなので(と言うか、↑にも書いたがカーネルをガリガリ変更するようなものをコンテナ化しない方が良い)ので、ElasticSearchがmmapする数を抑止するオプションをつけてFargateを起動する必要がある(これを設定しないと、vm.max_map_countが足りずにコンテナが起動しない)。
あと気を付けなくてはいけないのは、以下のパラメータを充分に余裕を持った値にしておくこと。
これ、日本語がめちゃくちゃ分かりにくいのだけど、要約すると「起動後しばらくはLBにまともな応答返せないから、起動からこの時間が経つまでは200 OKじゃなくても無視してね」という設定。ギリギリのメモリ/CPUで起動するとちゃんとヘルスチェック応答できるようになるまでに5分以上かかるようなので、それに見合った値を設定しておく。
マネコンの画面からポチポチで作るのも面倒なので、CloudFormationテンプレートで記述すると以下のような感じになる。
AWSTemplateFormatVersion: "2010-09-09"
Description:
ECS Create
Parameters:
Prefix:
Description: "Project name prefix"
Type: "String"
Default: "SonarQube"
PrefixLower:
Description: "Project name prefix(for URI)"
Type: "String"
Default: "sonarqube"
RepositoryNameSuffix:
Description: "RepositoryName on CodeCommit"
Type: "String"
Default: ""
ECRImageNameSuffix:
Description: "Container Image Name on ECR"
Type: "String"
Default: ""
ECSClusterNameSuffix:
Description: "ECS Cluster Name"
Type: "String"
Default: "-ECSCluster"
ECSServiceNameSuffix:
Description: "ECS Service Name"
Type: "String"
Default: "-ECSService"
ECSTaskNameSuffix:
Description: "ECS Task Name"
Type: "String"
Default: "-Container"
ECSTaskContainerNameSuffix:
Description: "Container name on ECS Task"
Type: "String"
Default: "-Container"
ECSTaskLogGroupNameSuffix:
Description: "Log Group name on ECS Task"
Type: "String"
Default: "-ECSTask-LogGroup"
Resources:
# ------------------------------------------------------------#
# ECS
# ------------------------------------------------------------#
LOGGROUP:
Type: AWS::Logs::LogGroup
Properties:
LogGroupName: !Sub /ecs/${Prefix}${ECSTaskLogGroupNameSuffix}
ECSCLUSTER:
Type: AWS::ECS::Cluster
Properties:
ClusterName: !Sub ${Prefix}${ECSClusterNameSuffix}
ECSTASKDEFINITION:
Type: AWS::ECS::TaskDefinition
Properties:
RequiresCompatibilities:
- FARGATE
Cpu: "256"
ExecutionRoleArn: !Sub arn:aws:iam::${AWS::AccountId}:role/ecsTaskExecutionRole
Family: !Sub ${Prefix}${ECSTaskNameSuffix}
Memory: "2048"
NetworkMode: awsvpc
TaskRoleArn: !Sub arn:aws:iam::${AWS::AccountId}:role/ecsTaskExecutionRole
ContainerDefinitions:
- Name: !Sub ${Prefix}${ECSTaskContainerNameSuffix}
Image: !Sub ${AWS::AccountId}.dkr.ecr.${AWS::Region}.amazonaws.com/${PrefixLower}${ECRImageNameSuffix}:7.9.3-community
MemoryReservation: 2048
Environment:
- Name: SONARQUBE_JDBC_USERNAME
Value: sonar
- Name: SONARQUBE_JDBC_PASSWORD
Value: sonar
- Name: SONARQUBE_JDBC_URL
Value: jdbc:postgresql://[RDSのエンドポイント]/sonar
PortMappings:
- ContainerPort: 9000
HostPort: 9000
Protocol: HTTP
Ulimits:
- Name: nofile
SoftLimit: 65536
HardLimit: 65536
- Name: nproc
SoftLimit: 4096
HardLimit: 4096
Command:
- -Dsonar.search.javaAdditionalOpts=-Dnode.store.allow_mmapfs=false
LogConfiguration:
LogDriver: awslogs
Options:
awslogs-group: !Ref LOGGROUP
awslogs-region: !Sub ${AWS::Region}
awslogs-stream-prefix: ecs
ECSSERVICE:
Type: AWS::ECS::Service
Properties:
Cluster: !Ref ECSCLUSTER
ServiceName: !Sub ${Prefix}${ECSServiceNameSuffix}
LaunchType: FARGATE
DesiredCount: 1
DeploymentController:
Type: CODE_DEPLOY
LoadBalancers:
- ContainerName: !Sub ${Prefix}${ECSTaskContainerNameSuffix}
ContainerPort: 9000
TargetGroupArn: [ALBターゲットグループのARN]
HealthCheckGracePeriodSeconds: 600
NetworkConfiguration:
AwsvpcConfiguration:
AssignPublicIp: ENABLED
SecurityGroups:
- [適切なセキュリティグループ(デフォルト設定のままなら9000番ポートのインバウンドを許容)]
Subnets:
- [適切なサブネット]
TaskDefinition: !Ref ECSTASKDEFINITION
環境変数はおそらく直値ではなくてParameter Storeから取得するのがベストプラクティスだが、今回はあまり気にしないことにする(Fargateは起動してはみたものの、EC2上のDockerコンテナと比べると動作がやや遅い。サービス向け機能ではないので、あえて高額なサーバレスにする意味はあまりない……と思う)。ログ周りの設定もかなりテキトーなので、本当にサーバレスコンテナで扱うならちゃんと考えた方が良いと思う。