AWS CloudFormationテストツール全部入りDockerfileの作成

アドベントカレンダーについて

APN Ambassador によるアドベントカレンダー「Japan APN Ambassador Advent Calendar 2020」での22日目の記事となります。
APN Ambassador の詳細については、下記の記事をご覧ください。

• APN Ambassadorってなんだ？
• APN Ambassador Program は世界標準！

なお、投稿内容は私個人の意見であり、所属企業を代表するものではありませんので、ご了承ください。

はじめに

AWSのCloudFormationをYAMLやJSONで書くときに、文法やパラメータの型などを、テンプレートの中身を目視してレビューするのは大変です。
そこで、CloudFormationのテストを楽にするための様々なツールが用意されています。
本記事ではこれらのツールを紹介し、紹介したツールの導入をDockerfileで定義して使い回すことを目指します。

ツール紹介

ツールはAWS CLIに付属しているものから、オープンソースで公開されているものまで様々に及びます。
1つ1つ紹介していきます。

① aws cloudformation validate-template

• aws cloudformation validate-template コマンドで、指定したテンプレートが有効なJSONやYAMLか否かをチェックできます。
• 但し、このコマンドでは、値の妥当性をチェックせず、あくまで正しい文法で書かれているかだけをチェックします。

実行例

bash-4.2# aws cloudformation validate-template --template-body file://./vpcsample-template.yaml 

An error occurred (ValidationError) when calling the ValidateTemplate operation: Template format error: YAML not well-formed. (line 26, column 17)

② cfn-lint

• 正式名称は 「AWS CloudFormation Linter」
• CloudFormationのYAMLとJSONのテンプレートを、リソースの仕様および追加のチェック項目に即して検証します。
• プロパティの有効な値、さらにベストプラクティスの確認も含みます。

実行例

bash-4.2# cfn-lint vpcsample-template.yaml
W3010 Don't hardcode ap-northeast-1a for AvailabilityZones
vpcsample-template.yaml:18:13

③ taskcat

• 複数のAWSリージョンで並列にスタックを作成してデプロイの可否をテストします。
• 単一テンプレートやスタックのテストでは分からない問題を検知できます。
  • 例えば、特定のリージョンでサポートされないサービスが含まれていないかを調べたりできます。
• 各リージョンでの成功/失敗のレポートを生成できます。
• CloudFormation StackSetsを利用する際の確認に効果を発揮します。
  

.taskcat.ymlのサンプル

project:
   name: taskcat-example
   regions:
      - ap-northeast-1
      - us-east-1
   tests:
      vpcsample:
         template: ./vpcsample-template.yaml

実行例

bash-4.2# taskcat test run 

version 0.9.20
[INFO   ] : Linting passed for file: /workspaces/awsdev/work/vpcsample-template.yaml
[S3: -> ] s3://tcat-taskcat-example-XXXXXXXXXXXXXX/taskcat-example/vpcsample-template.yaml
[INFO   ] : ┏ stack Ⓜ tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2                                        
[INFO   ] : ┣ region: ap-northeast-1                                                                                         
[INFO   ] : ┗ status: CREATE_COMPLETE                                                                                        
[INFO   ] : ┏ stack Ⓜ tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2                                        
[INFO   ] : ┣ region: us-east-1                                                                                              
[INFO   ] : ┗ status: CREATE_COMPLETE                                                                                        
[INFO   ] : Reporting on arn:aws:cloudformation:ap-northeast-1:XXXXXXXXXXXX:stack/tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2/7e9705c0-2747-11eb-861d-0aff14bc0982
[INFO   ] : Reporting on arn:aws:cloudformation:us-east-1:XXXXXXXXXXXX:stack/tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2/7fc94430-2747-11eb-bfb5-1246411399d1
[INFO   ] : Deleting stack: arn:aws:cloudformation:ap-northeast-1:XXXXXXXXXXXX:stack/tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2/7e9705c0-2747-11eb-861d-0aff14bc0982
[INFO   ] : Deleting stack: arn:aws:cloudformation:us-east-1:XXXXXXXXXXXX:stack/tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2/7fc94430-2747-11eb-bfb5-1246411399d1
[INFO   ] : ┏ stack Ⓜ tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2                                        
[INFO   ] : ┣ region: ap-northeast-1                                                                                         
[INFO   ] : ┗ status: DELETE_COMPLETE                                                                                        
[INFO   ] : ┏ stack Ⓜ tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2                                        
[INFO   ] : ┣ region: us-east-1                                                                                              
[INFO   ] : ┗ status: DELETE_COMPLETE

レポートサンプル (テキスト)

bash-4.2# cat tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2-ap-northeast-1-cfnlogs.txt
-----------------------------------------------------------------------------
Region: ap-northeast-1
StackName: tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2
*****************************************************************************
ResourceStatusReason:  
Stack launch was successful
*****************************************************************************
*****************************************************************************
Events:  
TimeStamp                         ResourceStatus      ResourceType                LogicalResourceId                                                ResourceStatusReason
--------------------------------  ------------------  --------------------------  ---------------------------------------------------------------  ---------------------------
2020-11-15 13:36:54.256000+00:00  CREATE_COMPLETE     AWS::CloudFormation::Stack  tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2
2020-11-15 13:36:52.656000+00:00  CREATE_COMPLETE     AWS::EC2::Subnet            TestSubnet01
2020-11-15 13:36:40.587000+00:00  CREATE_COMPLETE     AWS::EC2::Subnet            TestSubnet03
2020-11-15 13:36:40.280000+00:00  CREATE_COMPLETE     AWS::EC2::Subnet            TestSubnet02
2020-11-15 13:36:36.368000+00:00  CREATE_IN_PROGRESS  AWS::EC2::Subnet            TestSubnet01                                                     Resource creation Initiated
2020-11-15 13:36:35.712000+00:00  CREATE_IN_PROGRESS  AWS::EC2::Subnet            TestSubnet01
2020-11-15 13:36:24.163000+00:00  CREATE_IN_PROGRESS  AWS::EC2::Subnet            TestSubnet03                                                     Resource creation Initiated
2020-11-15 13:36:24.147000+00:00  CREATE_IN_PROGRESS  AWS::EC2::Subnet            TestSubnet02                                                     Resource creation Initiated
2020-11-15 13:36:23.594000+00:00  CREATE_IN_PROGRESS  AWS::EC2::Subnet            TestSubnet03
2020-11-15 13:36:23.442000+00:00  CREATE_IN_PROGRESS  AWS::EC2::Subnet            TestSubnet02
2020-11-15 13:36:21.092000+00:00  CREATE_COMPLETE     AWS::EC2::VPC               TestVPC
2020-11-15 13:36:04.224000+00:00  CREATE_IN_PROGRESS  AWS::EC2::VPC               TestVPC                                                          Resource creation Initiated
2020-11-15 13:36:03.612000+00:00  CREATE_IN_PROGRESS  AWS::EC2::VPC               TestVPC
2020-11-15 13:35:59.310000+00:00  CREATE_IN_PROGRESS  AWS::CloudFormation::Stack  tCaT-taskcat-example-vpcsample-2a58141fb6114aed895774ebfcac9ed2  User Initiated
*****************************************************************************
-----------------------------------------------------------------------------
Tested on: Sunday, 15. November 2020 01:37PM

レポートサンプル (HTML)

④ cfn_nag

• 以下のようなセキュリティ上安全ではない設定を検査して表示するためのツールです。
  • 許可範囲が広すぎるIAMルール（ワイルドカード）
  • 許容範囲が広すぎるセキュリティグループルール（ワイルドカード）
  • 有効化されていないアクセスログ
  • 有効化されていない暗号化
  • パスワードの強度

実行例

bash-4.2# cfn_nag_scan --input-path vpcsample-template.yaml 
------------------------------------------------------------
vpcsample-template.yaml
------------------------------------------------------------------------------------------------------------------------
| WARN W60
|
| Resources: ["TestVPC"]
| Line Numbers: [5]
|
| VPC should have a flow log attached

Failures count: 0
Warnings count: 1

⑤ CloudFormation Guard

• 予め定めておいたルール内でテンプレートが記述されているかどうかを検査します。
  • .ruleset ファイルに予めルールを書いておきます。
  • cfn-guard コマンドで YAML がそのルールに沿って書かれているかどうかが検査されます。
• プロジェクト毎に設けられる制約をルール化しておく、またはお客様と合意した設計値を書いておいて最終チェックに使うなど、プロジェクト固有または逸脱できない条件との合致を検査するために使用するのが良さそうです。

実行例

bash-4.2# cfn-guard check -t Examples/ebs_volume_template.json -r Examples/ebs_volume_template.ruleset

[NewVolume2] failed because [Encrypted] is [false] and the permitted value is [true]
[NewVolume] failed because [Encrypted] is [false] and the permitted value is [true]
[NewVolume] failed because [Size] is [500] and the permitted value is [<= 100]
Number of failures: 3

テストツールをDockerfileに詰め込む

VSCode Remote Containersでも動かせるようにしてあります。

また、taskcatの実行には特権が必要になるため、下記リンク先を参考にして動かしましょう。
VSCode Remote Containersを冠とした記事ですが、VSCode Remote Containersを使わなければアタッチ手前までの手順でOKです。
VSCode Remote Containers で --privileged と /sbin/init を渡したコンテナで開発する方法

# AWS CLI v2 (Official)
FROM amazon/aws-cli:latest

# To install Visual Studio Code Server
# and modules
RUN yum -y update && \
    yum -y install tar gzip git

# To install pip
RUN curl -kL https://bootstrap.pypa.io/get-pip.py | python

# To install cfn-lint
RUN pip install cfn-lint

# To install taskcat
RUN yum -y install python3 && \
    pip3 install taskcat

# To install docker (for taskcat)
RUN amazon-linux-extras install -y docker

# To install cfn-nag & CloudFormation Guard
RUN yum -y install bzip2 gcc make openssl-devel && \
    git clone https://github.com/sstephenson/rbenv.git ~/.rbenv && \
    echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.bash_profile && \
    echo 'eval "$(rbenv init -)"' >> ~/.bash_profile && \
    source ~/.bash_profile && \
    git clone git://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build && \
    ~/.rbenv/plugins/ruby-build/install.sh && \
    rbenv install 2.7.2 && \
    rbenv global 2.7.2 && \
    gem install cfn-nag && \
    yum -y install wget && \
    wget https://github.com/aws-cloudformation/cloudformation-guard/releases/download/1.0.0/cfn-guard-linux-1.0.0.tar.gz && \
    tar -xvf cfn-guard-linux-1.0.0.tar.gz -C ~/

# To clean up
RUN yum clean all

Dockerfile作成において判断に迷った点

どのコンテナイメージをFROMに据えるかという点はポイントかと思いますが、今回はamazon/aws-cli:latestを選択しました。
このイメージは、AWS公式のAWS CLI v2のDockerイメージとなります。
参考: 公式 AWS CLI バージョン 2 Docker イメージの使用

AWS CLIに関連したサポートを受けるためには、公式のイメージを使っておくほうが良いと考え、このイメージを選択しています。

ただ、その代わりにcfn-nagのインストールと実行に必要なRubyのインストールには、そこそこ面倒な手順を踏んでいます。
だからと言って、rubyのイメージにすれば、今度はAWS CLIのインストールが少々手間となるため、メリット・デメリットを勘案しても、判断に迷うところではありました。

まとめと今後に向けて

• 機械的な検査はできる限り自動化してしまうことで、人の判断に依存せず、見落としのないテストが可能です。
• 複数のツールを組み合わせることで、異なる観点でのテストが可能です。
• ただし、要件とテンプレートの整合チェックとなると、まだまだ困難は残ります。
  • SIerが良く行うウォーターフォールモデルの開発時には、前工程の要件(基本設計)と、現工程のテンプレートの中身が整合しているかどうかがチェックされますが、この観点ではまだまだ検査が難しい側面があり、最近リリースされたCloudFormation Guardをどこまで活用できるかを含め、今後突き詰めていきたいポイントと言えます。

参考文献

• YouTube: I'm in DevOps - Deep Dive: Infrastructure as Code on AWS (Level 300)
• 公式 AWS CLI バージョン 2 Docker イメージの使用