はじめに

概要

　この記事ではCodeStarでPython×LambdaのWeb系プロジェクトを作成し、新規にLambda関数を作成する場面を想定して手順の備忘を記載します。
随時キャプチャが登場しますが全て2021/06/10前後時点のものなので、サービスアップデートに伴い変更される可能性があります。

目標

CodeStarプロジェクトをローカルにCloneしてVSCodeで開発し、新規Lambdaを作る

環境

ローカル環境

マシン：Mac ※Intel CPU
OS：macOS Big Sur ver11.4
テキストエディタ：Visual Studio Code
インストール済みライブラリ：Git CLI, AWS CLI

AWS環境

アカウント：プライベートアカウント
作業リージョン：Tokyo (ap-northeast-1)
作業IAMユーザー名：work
- Access type：Programmatic access
- AWS Management Console access
- Group：Administrator

CodeStarでプロジェクトを作成

　細かい説明はこちらをご覧ください。

　本記事では検証用に作成した下記プロジェクトを用います。

設定項目名	設定値
CodeStarテンプレート	Python / Web service / AWS Lambda
Project name	private-work-codestar
Project ID	private-work
Repository name	private-work-codestar

なお不要なアクセスを防ぐため上記プロジェクト作成後に自動作成されたAPI Gatewayを削除しています。

CodeのClone

　プロジェクトの作成により、CodeCommitやCodeBuild、CodeDeploy、CodePipeline等一連のCI/CDのツールチェーンが作成されています。

　続いて作成されたCodeCommitリポジトリをCloneして手元で編集できる環境を作ります。

（参考）作成したCodeStarプロジェクトのIDEタブ：

　上記の通りCodeStarプロジェクトでもClone方法はいくつか紹介されていますが、今回はAWSのCredential情報を用いてHTTPSでローカルにCloneする方法を用います。

なお一番簡単なのはCloud9を用いたCloneです。この場合CodeCommit→clone→Cloud9とAWS環境内で作業が閉じるため、IAMの権限不足等不要なエラーが起こりづらい印象です。
Cloneがうまく行かなかった場合の最終手段としてお試しください。

以後Git CLIとAWS CLIはインストール済みの前提で記述となりますのでご注意ください。

HTTPS経由でのCode Clone手順

作業は下記ドキュメントに従って実施していきます。 ※MFAを設定している場合この手順のみでは対応できません、ご注意ください。
https://docs.aws.amazon.com/ja_jp/codecommit/latest/userguide/setting-up-https-unixes.html

1. AWSCodeCommitPowerUserポリシーのアタッチ

　開発を行うユーザー（ここではwork）にAWSCodeCommitPowerUserポリシーを付与します。

しかしAdministratorで作成したユーザーはデフォルトでCodeCommitにFull Accessできるはずなので、この作業は（おそらく）不要です。

以下CodeCommitのFull Access権がないユーザーに対する記述です。
AWSコンソールトップからIAMを開き、ユーザーメニューから作業対象ユーザーを選択します。

続いてAdd permissionsを押下します。

ViewをAttach existing policies directlyに切り替え、CodeCommitを検索して表示される「AWSCodeCommitPowerUser」にチェックを入れ、Nextを押し、次の画面でAdd permissionsを押します。

以上で付与権限が付与されているはずです。

2. AWS Configure

　この作業ではIAMユーザーのAWS Credential情報が必要になりますので、お持ちでない場合はアカウントの管理者にお問い合わせください。

まずローカルのターミナルで下記を実行し、aws cliのconfig情報を書き換えます。

$ aws configure

実行すると下記の通りAccess KeyとSecret Keyの入力が求められるので入力します。
region nameはこの記事の場合「ap-northeast-1」、Default output formatは「json」と入力します。

AWS Access Key ID [None]: Type your target AWS access key ID here, and then press Enter
AWS Secret Access Key [None]: Type your target AWS secret access key here, and then press Enter
Default region name [None]: Type a supported region for CodeCommit here, and then press Enter
Default output format [None]: Type json here, and then press Enter

続いて下記コマンドを入力します。
これを実行することでgitコマンド実行時にaws configureで設定した認証状を用いてCodeCommitにアクセスするようになります。

$ git config --global credential.helper '!aws codecommit credential-helper $@'
$ git config --global credential.UseHttpPath true

以上で設定は完了です。

3. Codeのclone

下記URLからCodeCommitのHomeにアクセスします。
https://console.aws.amazon.com/codesuite/codecommit/home

表示されているリポジトリ一覧からCloneしたいプロジェクトを選択します。
続いてClone URLのプルダウンからClone HTTPSを選択すると、URLがコピーできます。

上記でコピーしたリポジトリを任意のパスにcloneします。下記のhttps移行はご自身のコピーしたURLに置き換えてください。

$ git clone https://git-codecommit.ap-northeast-1.amazonaws.com/v1/repos/private-work-codestar
Cloning into 'private-work-codestar'...
remote: Counting objects: 12, done.
Unpacking objects: 100% (12/12), done.

以上でCodeのCloneは完了です。

新規関数の作成

　続いて新規関数を作成していきます。

既存コードの確認

まずはCloneしたプロジェクトをテキストエディタで開いてください。下記のような構造になっているはずです。

ここでは簡単な紹介に留めますが、それぞれ下記のような役割です。

ファイルまたはディレクトリ名	役割
tests/	CodeBuild時に実行される単体テストコード群
buildspec.yml	CodeBuild用設定ファイルデフォルトではライブラリインストールや単体テストの実行、デプロイパッケージの作成についての設定が記述されている
index.py	デプロイされているLambda関数本体のコード
README.md	CodeCommitリポジトリの説明文
template-configuration.json	CloudFormationによるアプリ更新時に用いConfig情報？詳細不明
template.yml	Lambda関数の環境設定ファイル環境変数やLambdaの実行時間等が設定可能

プロジェクト構造のアップデート:

関数がもう一つできるので見通しをよくするため、まずプロジェクトの構造を下記の通り変更します。

変更点は下記の通りです。

HelloWorldディレクトリの作成
- 同ディレクトリへのindex.pyの移動
NewFuncディレクトリの作成
- 同ディレクトリへのindex.pyのコピー
testsディレクトリ以下のアップデート
- test_handler.pyの複製
- test_HelloWorld_handler.pyおよびtest_NewFunc_handler.pyへ名前の変更

コードのアップデート

　続いて稼働確認時にわかりやすいようNewFunc/index.pyのコードを下記の通りアップデートします。

./NewFunc/index.py

import json
import datetime
from logging import getLogger, StreamHandler, DEBUG, Formatter

def handler(event, context):
    logger = getLogger(__name__)
    handler = StreamHandler()
    handler.setLevel(DEBUG)
    formatter = Formatter('%(asctime)s:%(lineno)d:%(levelname)s:%(message)s')
    handler.setFormatter(formatter)
    logger.setLevel(DEBUG)
    logger.addHandler(handler)
    logger.propagate = False

    logger.info('NewFunc handler start')

    data = {
        'output': 'Hello New Func',
        'timestamp': datetime.datetime.utcnow().isoformat()
    }
    logger.debug('data: {}'.format(data)) 

    response = {'statusCode': 200,
            'body': json.dumps(data),
            'headers': {'Content-Type': 'application/json'}}
    logger.debug('response: {}'.format(response))

    logger.info('NewFunc handler complete')
    return response

続いてtests/以下のコードを下記の通り変更します。

./tests/test_HelloWorld_handler.py

import unittest
from HelloWorld import index ### アップデート

class TestHandlerCase(unittest.TestCase):

    def test_response(self):
        print("testing response.")
        result = index.handler(None, None)
        print(result)
        self.assertEqual(result['statusCode'], 200)
        self.assertEqual(result['headers']['Content-Type'], 'application/json')
        self.assertIn('Hello World', result['body'])


if __name__ == '__main__':
    unittest.main()

./tests/test_NewFunc_handler.py

import unittest
from NewFunc import index ### アップデート

class TestHandlerCase(unittest.TestCase):

    def test_response(self):
        print("testing response.")
        result = index.handler(None, None)
        print(result)
        self.assertEqual(result['statusCode'], 200)
        self.assertEqual(result['headers']['Content-Type'], 'application/json')
        self.assertIn('Hello New Func', result['body']) ### アップデート


if __name__ == '__main__':
    unittest.main()

template.ymlのアップデート

続いて新規関数用の設定を記述していきます。

template.ymlを開き、下記の様に編集します。

./template.yml

AWSTemplateFormatVersion: 2010-09-09
Transform:
- AWS::Serverless-2016-10-31
- AWS::CodeStar

Parameters:
  ProjectId:
    Type: String
    Description: CodeStar projectId used to associate new resources to team members
  CodeDeployRole:
    Type: String
    Description: IAM role to allow AWS CodeDeploy to manage deployment of AWS Lambda functions
  Stage:
    Type: String
    Description: The name for a project pipeline stage, such as Staging or Prod, for which resources are provisioned and deployed.
    Default: ''

Globals:
  Function:
    AutoPublishAlias: live
    DeploymentPreference:
      Enabled: true
      Type: Canary10Percent5Minutes
      Role: !Ref CodeDeployRole

Resources:
  HelloWorld:
    Type: AWS::Serverless::Function
    Properties:
      FunctionName: !Sub 'awscodestar-${ProjectId}-lambda-HelloWorld'
      CodeUri: ./HelloWorld ### 新規追加 ###
      Handler: index.handler
      Runtime: python3.7
      Role:
        Fn::GetAtt:
        - LambdaExecutionRole
        - Arn
      # Events:
      #   GetEvent:
      #     Type: Api
      #     Properties:
      #       Path: /
      #       Method: get
      #   PostEvent:
      #     Type: Api
      #     Properties:
      #       Path: /
      #       Method: post
  ### 新規追加 ここから ###
  NewFunc: 
    Type: AWS::Serverless::Function
    Properties:
      FunctionName: !Sub 'awscodestar-${ProjectId}-lambda-NewFunc'
      CodeUri: ./NewFunc
      Handler: index.handler
      Runtime: python3.7
      Role:
        Fn::GetAtt:
        - LambdaExecutionRole
        - Arn
  ### 新規追加 ここまで ###
  LambdaExecutionRole:
    Description: Creating service role in IAM for AWS Lambda
    Type: AWS::IAM::Role
    Properties:
      RoleName: !Sub 'CodeStar-${ProjectId}-Execution${Stage}'
      AssumeRolePolicyDocument:
        Statement:
        - Effect: Allow
          Principal:
            Service: [lambda.amazonaws.com]
          Action: sts:AssumeRole
      Path: /
      ManagedPolicyArns:
        - !Sub 'arn:${AWS::Partition}:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole'
      PermissionsBoundary: !Sub 'arn:${AWS::Partition}:iam::${AWS::AccountId}:policy/CodeStar_${ProjectId}_PermissionsBoundary'

デフォルトのtemplate.ymlからの変更点は下記3点です。

Resources>Helloworld>Properties に「CodeUri: ./HelloWorld」を追加：
これは先程アップデートしたディレクトリ構造を反映させるためのものです。
これをしないままだと存在しない./index.pyを読みに行こうとし、一方でHelloWorld/index.pyを読めずにエラーとなります。
Resources>Helloworld>Properties のEventsをコメントアウト：
前述の通りAPI Gatewayは削除済みのため不要な設定のためコメントアウトしました。
API Gatewayを削除せず利用している場合、コメントアウトは不要です。
Resources に「NewFunc」を追加：
この項目を記述することでデプロイ時に新規Lambda関数として「NewFunc」が認識されます。

単体テスト

最後にプロジェクトディレクトリ下で単体テストを行いましょう。

 $ python -m unittest discover tests
testing response.
{'statusCode': 200, 'body': '{"output": "Hello World", "timestamp": "2021-06-10T11:31:37.461334"}', 'headers': {'Content-Type': 'application/json'}}
.testing response.
2021-06-10 20:31:37,461:15:INFO:NewFunc handler start
2021-06-10 20:31:37,462:21:DEBUG:data: {'output': 'Hello New Func', 'timestamp': '2021-06-10T11:31:37.462032'}
2021-06-10 20:31:37,462:26:DEBUG:response: {'statusCode': 200, 'body': '{"output": "Hello New Func", "timestamp": "2021-06-10T11:31:37.462032"}', 'headers': {'Content-Type': 'application/json'}}
2021-06-10 20:31:37,462:28:INFO:NewFunc handler complete
{'statusCode': 200, 'body': '{"output": "Hello New Func", "timestamp": "2021-06-10T11:31:37.462032"}', 'headers': {'Content-Type': 'application/json'}}
.
----------------------------------------------------------------------
Ran 2 tests in 0.001s

OK

以上でコードの編集は完了です。

デプロイ

いよいよデプロイです！

cloneしたディレクトリ下に移動してpushします。

$ git add .
$ git commit -m "first commit"
$ git push

pushするとCodePipelineがCodeCommitの変化を検知し、Pipelineが動き出します。AWSコンソールよりCodePipeline→作成したプロジェクトIDのPipilineを開くと様子が確認できます。

CodeBuildの「Details」をクリックするとbuildspec.ymlに記述されたコマンドが実行されていった様子が確認できます。先程ローカルで行った単体テストも無事通りました。

PipelineのフローがExecuteChangeSetに差し掛かると大体Lambdaのデプロイが完了しているので、Lambdaコンソールで確認します。

Lambdaコンソールを開くと作成したLambdaが存在することが確認できます。この関数を開いて稼働の確認を行っていきます。

開いた画面で「Test」タブをクリックし、「Name」に適当なテスト名を入力し、「Test」ボタンを押下します。このタイミングで入力するkey valueは何でも良いです。

実行した結果ローカルでの単体テストと同じような形で出力されていれば成功です。またログの実態はCloudWatch Logsにあり、添付キャプチャの「Click here」から遷移できます。

Lambdaのテスト時に表示されたLog outputと同じものが確認できます。

長くなりましたが以上です！
文は長いですがやってみると意外とあっさりなはず・・。

【AWS】CodeStarプロジェクトに新規Lambda関数を追加する

目次