AWS Lambda
lambda関数を利用する際、標準でインストールされていないパッケージを使いたい場合があります。
その際、lambdaコンテナはAmazon Linux AMIをベースとした開発環境なので、同様の環境で生成されたsite-packagesが必要となります。
また、lambda上でテストする場合、パッケージをzip化してuploadする必要があるので少し面倒です。
やりたいこと
EC2上にlambda関数の開発環境をCodeDeployで自動生成する。
CodeDeploy内容
- python3.6をインストールする。
- vertualenvをインストールしてpython3.6と2.7の仮想環境を作成する。
- lambda_setフォルダをec2-user直下に作成し、そこにlambda_function.pyを配置する。
以上をymlとshファイルで作成し、GitHubで管理する。
EC2の準備
インスタンスの作成（略）
⇒インスタンスタイプはAMI
⇒ネットワーク、サブネットはデフォルト
⇒IAMロール＝EC2RoleforAMCodeDeploy
⇒タグ設定
⇒作成
CodeDeployAgentインストール
TeraTermで起動して下記コマンドを実行します。
$ sudo yum update
$ sudo yum install ruby
$ sudo yum install aws-cli
$ cd /home/ec2-user
$ aws s3 cp s3://aws-codedeploy-ap-northeast-1/latest/install . --region ap-northeast-1
$ chmod +x ./install
$ sudo ./install auto
確認（念のためリスタート）
$ sudo service codedeploy-agent status
$ sudo service codedeploy-agent restart
GitHubの準備
GitHubからデプロイするためのリポジトリを作成してフォルダを構成しておきます。（s3でも可能）
scripsにはシェルスクリプトを、srcには格納したいファイルを、ymlファイルにはデプロイ内容を記載してリポジトリ直下に置きます。
version: 0.0
os: linux
files:
- source: src/
destination: /home/ec2-user/lambda_set/
hooks:
BeforeInstall:
- location: scripts/construct_venv.sh
timeout: 2000
- location: scripts/sample_pip_install.sh
timeout: 300
- souce・・・EC2へ送るデータ元
- destination・・・EC2の格納先
- hooks・・・実行するスクリプト
#!/bin/bash
prefix='/home/ec2-user/'
sudo yum -y groupinstall 'Development tools'
sudo yum -y install zlib-devel openssl-devel
mkdir ${prefix}python3.6
cd ${prefix}python3.6
wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgz
tar zxvf Python-3.6.1.tgz
cd ${prefix}/python3.6/Python-3.6.1
./configure
make
sudo make install
sudo /usr/local/bin/pip3.6 install virtualenv
/usr/local/bin/virtualenv -p /usr/local/bin//python3.6 ${prefix}encrypt_3
/usr/local/bin/virtualenv -p /usr/bin/python2.7 ${prefix}encrypt_2
cd ${prefix}
mkdir lambda_set
#!/bin/bash
prefix='/home/ec2-user/'
cd ${prefix}encrypt_3
source bin/activate
pip install boto3
pip install pandas
deactivate
prefixを指定しているのは、CodeDeployによるシェルスクリプトが走るのは/opt/codedeploy-agent/というディレクトリだからです。TeraTerm等で入る際に紛らわしいのでec2-userにディレクトリを移動していますが、必要に応じて変えたら良いと思います。
また、locationによるシェルスクリプトの実行は変数は破棄されるので変数を使う場合は毎回指定が必要です。
CodeDeployの準備
- まずアプリケーションを作成します。今回はインプレースデプロイを選びます。
- EC2インスタンスで設定したタグを使って、デプロイ先のインスタンスを指定します。
- ロードバランサーとデプロイの設定をします。（未設定ならデフォルトで問題なし）
- サービスロールはCodeDeploy用のRoleとしてAWSCodeDeployRoleを持つものを指定します。
- アクションから新しいリビジョンのデプロイをします。
- GitHubの設定を行います。
- コミットIDはコンソールから下記により取得できます。
git show -s --format=%H
結果
デプロイが完了すれば、EC2インスタンスにencrypt_3とencrypt_2という仮想環境が作成され、src/に保存していたlambda_function.pyが/home/ec2-user/lambda_setに保存されています。
今回はサンプルとしてpython3.6の環境でboto3とpandasをインストールしました。（sample_pip_install.sh）
このshを好きに変えていけば、思い通りの環境を構築できます。
また、指定しているlambda_function.pyの中をAWSのlambdaに揃えておいて、jsonデータを生成して入力に用いて結果を表示するという関数にしておけばlambda上でのテストと同様の事ができます。
注意としてはpip installはvirtualenvをインストールしたユーザーと同ユーザーで行う必要があるという点です。
おわりに
下記書籍ではEC2での環境構築を手動でやっていたので、CodeDeployで自動化できたら楽だろうなというモチベーションで試してみました。lambda用のライブラリzip化のみであればもっとスマートな方法はあると思います。
例えば、pythonのバージョンを分けてLambdaを使うメリットの中では、pandasとstatsのライブラリを同時にlambdaで使う場合等がありました。python3ではこの二つのライブラリは50MBを超えてしまうのでzip化してuploadすることができませんが、python2ならばこれらは40MB少しで済みます。そういった面でも2系列を使うメリットはあると思います。
コード