Help us understand the problem. What is going on with this article?

[AWS:Lambda] Lambda用のnode.jsをローカル環境で開発しやすくする為のTips

More than 1 year has passed since last update.

今月お仕事でAWSのLambdaでバッチ処理を書きました。

今回は node.js(v8.10) でローカル開発する際の備忘録として書き残します。
ローカル環境はMacです。

ローカル用の踏み台ファイル(proxy.js)の用意

https://symfoware.blog.fc2.com/blog-entry-2218.html

上のURLを参考にして、作業ディレクトリ内にproxy.jsを用意します。
なぜ踏み台が必要かも説明されています。
今後はこのファイルを通して

$ node proxy.js 

と実行すれば、ローカルでindex.jsの処理を実行する事ができるようになります。

dotenvで環境変数を管理できるようにする

バッチ処理中にAPIを使用する事も多いです。
その際ファイル内にパスワード等を直書きするのはよろしくありません。
Lambdaは環境変数を専用の場所から設定できますのでそこで管理しましょう。
ローカルではdotenvを使用して管理すると良いでしょう。

作業ディレクトリで以下を実行してdotenvを導入します。

$ npm install dotenv

先ほど用意した proxy.js に下の行を追加します。

proxy.js
'use strict'
require('dotenv').config() //<- これを追加。.envから環境変数を取得
// ...

作業ディレクトリ内に.envを作成し、次のように記述すると環境変数を設定できます。

REDSHIFT_USER="user"
REDSHIFT_PASS="password"

index.jsで次のように指定すれば.envの変数を使用できます。

index.js
//...
const REDSHIFT_USER = process.env.REDSHIFT_USER
const REDSHIFT_PASS = process.env.REDSHIFT_PASS
//...

git管理をしているなら.gitignore.envを含めないようにするとベターです。

上でも書いたようにLambdaの環境変数は専用の場所から設定するので
.envはLambda環境までアップロードしません。

故にdotenvのようなローカルでのみ使うようなライブラリは
proxy.jsで読み込めばindex.jsを汚さずに済むようになります。

zip化の処理を書く

処理が完成したらLambdaにアップロードする為のzipファイルを作成しないといけません。
zipファイルは10MBを越えるとS3経由からアップロードしなくてはいけなくなります。

zip化する際に軽くする為に不要なファイルやnode_moduleの中のライブラリを除かないといけません。

特に気をつけなくてはいけないのはaws-sdkという
AWSのツールを簡単に操作する為のライブラリです。これが38MB近くあります。
これをzipに含めると圧縮しても10MB以下に抑えるのが難しくなります。

幸いな事に、Lambdaではaws-sdkが最初からインストールされている為、
このライブラリを使う為にnode_modulesに含めておく必要はありません。

ですので、zipForLambda.shを作業ディレクトリ内に作成し次のように記します。

zipForLambda.sh
cd `dirname ${BASH_SOURCE:-$0}`
zip -r lambda index.js node_modules/ -x "node_modules/aws-sdk/*" "node_modules/dotenv/*"
# 他にも含めたいファイルがあるなら追加していく↑           他に除きたいファイルがあるならここから追加していく↑

そして、次を実行すれば

$ bash zipForLambda.sh

Lambdaにアップロードする為のファイルlambda.zipが書き出されます。
入っているのはindex.jsと必要なnode_modulesだけです。
dotenvもLambdaで不要なのでzipに含めませんでした。

また、proxy.js .git .gitignore等も不要なので含めていません。
lambdaでは処理の実行前にnpm installをしてくれません。
ですのでpackage.json等も不要です。

まとめ

これでローカルで開発する為の環境が整いました。

開発フローは次のようになります。
1. index.jsに処理を書く。
2. 必要な環境変数が出てきたら.envに記述。index.jsで受け取る。
3. $ node proxy.jsを実行して動作確認。
4. 完成したら$ bash zipForLambda.shを実行してzip化。
5. lambda.zipをAWS Lambdaにアップロードしてテスト。

となります。

必要なファイルが増えた際zipForLambda.shを更新するのを忘れないようにしてください。
zipForLambda.sh内にaws-cliを使用したlambdaへのアップロードコマンドも含めるのもいいと思います。

参考

proxy.js
https://symfoware.blog.fc2.com/blog-entry-2218.html
bash zipコマンドの書き方の参考
https://qiita.com/yudoufu/items/48cb6fb71e5b498b2532
https://superuser.com/questions/312301/unix-zip-directory-but-excluded-specific-subdirectories-and-everything-within-t
AWS Lambdaへの環境変数の設定方法
https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/env_variables.html

yasuda_t
昔Rails 今Laravel
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした