Pickup
- aws-sam-cliを利用した ローカルで擬似的にS3のputイベントを検知させるテスト with golang の備忘録です
- 事前にhello world編を見ておいて頂けると環境が整います
Requirement
- golang:1.11.4
- aws-cli
- aws-sam-cli
- docker (local lambda test)
Document
■ どうやったらlocalでS3のputイベント作れる？
- そもそもどうやってsamコマンドってどんなことできるぞや？
- イベントとかはどうやってつくる？
の疑問を解消させていくために、samコマンドのヘルプを参照してみる。
（※ 以下、ざっくり和訳なのであしからず）
sam
- aws-sam-cliのalias
- cloudformationのサーバーレス拡張版
- オプションでやることが大分違うが、「生成 / ビルド / localでのテスト / バリデーションチェック / deploy」など一通りこの子で完結できる
→ sam自体が色々なことができる模様。
寄り道して他のものも見てみたくなるが、今回は local にのみピックアップ。
$ sam --help
Usage: sam [OPTIONS] COMMAND [ARGS]...
AWS Serverless Application Model (SAM) CLI
The AWS Serverless Application Model extends AWS CloudFormation to provide
a simplified way of defining the Amazon API Gateway APIs, AWS Lambda
functions, and Amazon DynamoDB tables needed by your serverless
application. You can find more in-depth guide about the SAM specification
here: https://github.com/awslabs/serverless-application-model.
Commands:
logs Fetch logs for a function
deploy Deploy an AWS SAM application. This is an alias for 'aws
cloudformation deploy'.
package Package an AWS SAM application. This is an alias for 'aws
cloudformation package'.
publish Publish a packaged AWS SAM template to the AWS Serverless
Application Repository.
init Initialize a serverless application with a...
build Build your Lambda function code
validate Validate an AWS SAM template.
local Run your Serverless application locally for...
sam local
-
generate-event:- 疑似イベントつくる
-
invoke:- Lambda functionの実行
-
start-api:- 開発するAPIのテストする時にローカルエンドポイントをセットする。
- なお、 hot-reloadingしているためfunctionに変更を加えた場合でもRestartする必要はない
-
start-lambda:- ローカルエンドポイントに設定したLambda funcを使えるように起動するコマンド
→ 今回のお目当ては generate-event
$ sam local --help
Usage: sam local [OPTIONS] COMMAND [ARGS]...
Run your Serverless application locally for quick development & testing
Options:
--help Show this message and exit.
Commands:
generate-event You can use this command to generate sample...
invoke Invokes a local Lambda function once.
start-api Sets up a local endpoint you can use to test your API.
Supports hot-reloading so you don't need to restart this
service when you make changes to your function.
start-lambda Starts a local endpoint you can use to invoke your local
Lambda functions.
sam local generate-event
helpにS3イベントの作成コマンドがまとまっているのでこれを活用する。
$ sam local generate-event --help
Usage: sam local generate-event [OPTIONS] COMMAND [ARGS]...
~ (中略) ~
Generate the event that S3 sends to your Lambda function when a new object is uploaded
$ sam local generate-event s3 [put/delete]
You can even customize the event by adding parameter flags. To find which flags apply to your command,
run:
$ sam local generate-event s3 [put/delete] --help
Then you can add in those flags that you wish to customize using
$ sam local generate-event s3 [put/delete] --bucket <bucket> --key <key>
After you generate a sample event, you can use it to test your Lambda function locally
$ sam local generate-event s3 [put/delete] --bucket <bucket> --key <key> | sam local invoke <function logical id>
~ (後略) ~
■ S3のputイベントを作る
$ sam local generate-event s3 put --bucket test.secondly --key app/test.json
※ bucketは指定しないと example-bucket が指定されるのでbucket指定操作を行う場合は注意
※ 今回はkeyは別に入れなくても問題ないが、見栄えのためいれた
■ S3の擬似putイベントをgolangに検知させる
どんなイベントをキャッチしたかわかりやすいようにmain.goを修正。
$ cat hello-world/main.go
package main
import (
"fmt"
"context"
"github.com/aws/aws-lambda-go/events"
"github.com/aws/aws-lambda-go/lambda"
)
func handler(ctx context.Context, s3Event events.S3Event) {
for _, record := range s3Event.Records {
if record.EventName == "ObjectCreated:Put" {
s3 := record.S3
fmt.Printf("[SUCCESS] event doing!! - %s \n",record.EventName)
fmt.Printf("[%s - %s] Bucket = %s, Key = %s \n", record.EventSource, record.EventTime, s3.Bucket.Name, s3.Object.Key)
} else {
fmt.Printf("[Skip] event doing!! - %s \n",record.EventName)
}
}
}
func main(){
lambda.Start(handler)
}
※ どんなjsonが取得できるかは↓のawsが提供しているリポジトリを参照
https://github.com/aws/aws-lambda-go/blob/master/events/s3.go#L13-L23
buildし直して、実行してみる。
$ make build
GOOS=linux GOARCH=amd64 go build -o hello-world/hello-world ./hello-world
$ sam local invoke "HelloWorldFunction" -e event.json
2019-01-07 13:50:13 Found credentials in shared credentials file: ~/.aws/credentials
2019-01-07 13:50:13 Invoking hello-world (go1.x)
~ (中略) ~
[SUCCESS] event doing!! - ObjectCreated:Put
[aws:s3 - 1970-01-01 00:00:00 +0000 UTC] Bucket = test.secondly, Key = app/test.json
null
~ (後略) ~
→ ObjectCreated:Put イベントをキャッチし、どんなbucketに対してputイベントがあったかを無事検知できた。