AWSのLambdaでPythonのライブラリを読み込みたいときに、一番簡単な方法として、ライブラリをzipにしてレイヤーにアップロードするという方法があります。
ただしこれには制限があって、解凍後に500MBまでのファイルしかアップロードできません。
その解決策としては、
- EFS(Elastic File System)を使う。
- LamdaをDockerにする。
という方法があります。
ここでは、より簡単な、EFSを使う方法をとった時のメモを残したいと思います（自分がやった時のメモなので、より良い方法があるかもしれません）。
まず、インバウンドルールをタイプ:NFS、ポート範囲:2049にしたセキュリティグループを作ります。
使用するEFSを用意します。
EFSの管理画面にアクセスし、右上の「ファイルシステムの作成」をクリックします。
適当な名前をつけて保存します。VPCはLambdaと同じにします。
ファイルシステムができたら、詳細画面の「ネットワーク」タブに移動し、「管理」をクリックします。
先ほど作ったセキュリティグループを割り当てて保存します。
「アクセスポイント」タブでアクセスポイントを作成します。例ではアクセス権限を777にしていますが、通常は755で良いと思います。
アクセスポイントのDNSをコピーしておきます。
EFSの作成はこれで完了です。
次に、EFS内に、ライブラリをインストールするディレクトリを用意します。
EFSへのライブラリのインストールはローカルからもできますが、Linuxからの方が良いとどこかで読んだので、今回はAWSのcluod9を使いました。
一応アップデート。
$ sudo yum -y update
この原稿の執筆時点ではcloud9にプリインストールされているPythonのバージョンは3.7でした。Lambdaでは3.9を使うので、cloud9にPython3.9をインストールします（Lambdaで使うバージョンに合わせます）。
まず、pythonのバージョン管理を行うpyenvをインストールします。
$ git clone git://github.com/yyuu/pyenv.git ~/.pyenv
pyenvにパスを通します。
$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile
確認。
$ pyenv --version
pyenvでpythonをインストールする際に必要な依存パッケージをインストールします。
$ sudo yum -y install gcc zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel openssl-devel tk-devel libffi-devel
インストールできるPythonのバージョンを確認。
$ pyenv install -l
python3.9をインストール（例では3.9.15をインストールしています）
$ pyenv install 3.9.15
バージョンを切り替えます。
$ pyenv global 3.9.15
切り替わったか確認。
$ pyenv versions
これで下準備は整ったので、次はEFSをマウントします。
EFSをマウントするディレクトリを作成します。
$ sudo mkdir -p /mnt/efs
作成したディレクトリの所有者とグループを変更。
$ sudo chown -R ec2-user:ec2-user /mnt
先ほど作成したEFSのディレクトリをマウントします。
[EFSのアクセスポイントのDNS]には、先ほどコピーしたEFSのアクセスポイントのDNSを入れてください。
sudo mount -t nfs -o nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport [EFSのアクセスポイントのDNS]:/ /mnt/efs
マウントされていることを確認。
$ df -Th
マウントしたディレクトリに移動し、ライブラリをインストールするディレクトリを作成。
ライブラリをインストールするディレクトリ名はpythonにしないといけないという説があるので（試していないので真偽は不明）、そのようにしています。
$ cd /mnt/efs
$ mkdir -p lib/python
インストールディレクトリに移動。
cd lib/python
必要なライブラリをインストールします（以下は例です）。
$ pip install numpy -t ./
$ pip install pandas -t ./
$ pip install scikit-learn -t ./
次にLambda側の設定を行います。
設定タブのアクセス権限のところにEFSへのアクセス権限がある実行ロールを設定します。
次に、VPCを確認します。
セキュリティグループの設定で、EFSとの通信ができるようになっていなければなりません。
最後に、ファイルシステムで、先ほど作成したEFSを設定します。
ここまでできたら、LambdaにEFSを読み込む記述を追加します。
import sys
sys.path.append("/mnt/efs/lib/python")
import numpy as np
import pandas as pd
etc...
これでEFSにインストールしたライブラリがLamdaから使えるようになります。
ただし落とし穴があって、S3への読み書きをするためのs3fsというライブラリだけは、EFSからの読み込みができませんでした。
原因は不明ですが、とりあえずs3fsだけレイヤーにアップロードするという方法で回避しました。
あと、余談ですが、EFSにファイルを保存するときは、/tmpというディレクトリしか使えません。
これは名前の通り一時保存用のディレクトリで、あるLambdaで保存したものを別のLamdaで読み出して使う、といった使い方はできません。
そういうことをしたい場合は、LambdaのDocker化を行うと良いと思います（そうすれば10GBまでのファイルを保持できます）。
LambdaのDocker化については、別の機会に書きたいと思います。