【初心者向け】AWS Lambda Layerの作成方法をわかりやすく解説【Python3.9】 #Python

2024年春バージョン を作成しました。

AWS Lambdaの開発をしてみようと思うんだけど、Layerって何？Lambdaにどうやったらpip installするの？と思って固まってしまった・・・そう、それは1年前の私。

この記事は、そんなクラウドど初心者の（1年前の）私でも分かるように、AWS Lambda Layerを簡単に作成する方法を解説する備忘録です。

1. Lambda Layerとは

まずは、Lambda Layer（”Lambda”はラムダ、”Layer”はレイヤーと読みます）とは何？という話から。

AWS公式サイトより

Lambda レイヤーは、追加のコードまたはデータを含むことができる .zip ファイルアーカイブです。レイヤーには、ライブラリ、カスタムランタイム、データ、または設定ファイルを含めることができます。レイヤーを使用して、デプロイパッケージのサイズを減らし、コードの共有と責任の分離を促進することで、ビジネスロジックの記述をより迅速に繰り返すことができます。（出典：https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/invocation-layers.html ）

ただ、このLambda Layerの「本来の」使い方って、ある程度開発経験を積んで来た人じゃないとちょっとピンと来ない説明だと思います。

ということで、かなり乱暴にこの説明を翻訳すると「pip installで追加したモジュールをlambdaでも使いたい時の方法」 となります。

上級者の方からはめちゃくちゃ怒られそうな説明ですが、最初の一歩としてはこの理解で十分です。「本来の」使い方は、Lamdba関数を作りなれていけば追々分かっていくでしょう。

1-1. Lambda Layerが必要になる時

Pythonで参考文献を見ながらプログラムを作っていると、No module named ‘xxxxxx’的なエラーに遭遇することがあります。スペルエラーとかの場合は除けば、サードパーティ製のライブラリを使っている場合にこのエラーが起きることが多いですね。そして、ググったりしてpip install ‘xxxxxx’とすることで解決することが多いと思います。

さて、同じような感じでLambda関数を作っていると、やはり同じようなエラーに遭遇するのですが、ここで1年前の私はフリーズしてしまいました。「lambdaにpip installってどうやるの？」と。

一生懸命lambdaのコンソール内にターミナルがないか探してみたり、右往左往してみたのですが、ずいぶんと調べ回った挙げ句に分かったのが、「lambdaでサードパーティライブラリを使うにはLayerを使う必要がある」ということ。

例えば、これは最近ChatGPTにハマっている私が作ったLambda関数ですが、ずらっと並ぶimport文の中で、上段のdatetimeとかjsonとかはPythonの標準ライブラリなので、特になにもせずにAWS Lambdaでもそのまま使えますが、下段のjaconvやopenaiは（一般の開発環境ではpip installする）サードパーティー製のライブラリで、そのままではLambda関数を動かすことはできません。

こういった場合に、jaconvやopenaiをLambda Layerとしてアタッチ（≒インストール）することで、Lambda関数でもサードパーティー製のライブラリを動かすことができる、という訳です。

実際に、上のコードが書かれているLambda関数の概要を見ると、Layersの欄に(3)という数字が出ています。

そしてLayers欄をクリックすると、以下のようにこの関数にアタッチされているライブラリの一覧が表示されます。

と、こんな感じでLayerを使うことでAWS Lambda上でもサードパーティー製のライブラリを使うことができるようになります。

1-2. Lambda Layerの制限

さて、さっそくLambda Layerを作ってみよう、と行きたいところですが、その前に知っておかないといけないLambda Layerの制限があります。これを知らなかった1年前の私は散々ハマり倒しました。ですから気ははやっても以下の制限事項は一読しておくことをお勧めします。

レイヤー数は５つまで

1つのLambda関数にアタッチできるレイヤーは最大で5個までです。5個を超えるレイヤーを登録しようとすると以下のようなエラー表示が出てしまいます。

Lambda関数は単機能なことが多いので通常この制限が問題になることは少ないですが、あれもこれもとライブラリをimportしているプログラムでは、5つ以上のレイヤーが必要になることもあるかもしれません。その場合は以下のように対応します。

２つ以上のライブラリを合体させたLayerを作成する：後述する容量制限を超えなければ、１つのLayerに複数のライブラリを搭載することは問題ありません。複数のライブラリをLayerに組み込む方法については記事の後半で取り上げます。
必要のないライブラリをimportしない：まずは「importはしているけど使っていない」ライブラリがないかチェックしましょう。さらに減らす必要がある場合は、API呼び出しのラッパとして使われているライブラリ（私の上のLamdba関数で言えばOpenAIとかLINE Messaging APIとかがそれに当たります）について、ライブラリを使わずAPIを直接呼び出す形に変えたり、似たような機能のライブラリを複数インストールしているのであればどちらか一つにまとめたり、というような作業が必要になるでしょう。

ただし、そもそもサードパーティライブラリをたくさんimportしているLambda関数は起動（コールドスタート）に時間がかかります。せっかくのLambda関数の軽量・軽快というメリットが薄れてしまうので、できる限りLambda関数はシンプルに、サードパーティライブラリも少なく設計するのがオススメです。

圧縮後のサイズは50MBまで

Layerはzipファイルでアップロードしますが、このzipファイルのサイズには2つの制限があります。

圧縮されたzipファイルのサイズが50MBを超えないこと
展開後のファイルサイズが250MBを超えないこと

例えば、50MBより大きいzipファイルをアップロードしようとするとこのようなエラーが表示されます。

PandasやMecab等一部の巨大ライブラリをLayerにしようとすると、この制限に当たることがあります。この場合は以下のような解決法があります

自分でライブラリの中を整理して不要なファイルを削除する：pip install -tなどで特定のディレクトリにインストールして、その中をのぞくと分かりますが、依存関係のために大量の参照ライブラリが一緒にインストールされていることがあります。この中には、他のLayerに既に含まれているものもあるかもしれません。そういった重複したライブラリをコツコツ削除していくと、容量を削減することができます。ただ、これはなかなかに大変な作業です。
ライブラリの軽量版を探してくる：もし見つけることができるならこれが一番手っ取り早いです。例えばPandasならhttps://aws-sdk-pandas.readthedocs.io/en/stable/layers.html といったところに軽量化され、誰でも使えるLambda Layerが公開されています。

バージョンやランタイムの制限

Lamdba Layerは作成する時にランタイムを指定して作成します（後述）。このバージョンやランタイムが、実際に作成するLambdaのバージョンやランタイムと異なると使用することができません。例えば、Windows環境で作成したLayerをアップロードしても、Amazon Linux上で動くLambda関数から使うことはできない、ということです。これが自宅にWindowsしかない方の場合に面倒な問題になるんですよね。でもご安心ください、私もWindows機しかありませんが、WSLを使わずにさくっとLayerを作ることは全然できます。この後、詳しく説明します。

2. Lambda Layerの作成手順

さて、いよいよLambda Layerを作成する手順です。大まかには以下の通りですが、いったん「こういう流れなんだな」と見てください。

開発環境を用意する
開発環境のPythonのバージョンをLambdaと揃える
Lambda Layer用のディレクトリを作成する。
必要なライブラリやモジュールをインストールする。
ディレクトリをZIPファイルに圧縮する。
AWS LambdaコンソールからLambda Layerを作成する。

各手順について詳しく解説していきます。

2-1. 開発環境を用意する

自宅にMacやLinux機がある方、Windows上でWSL2環境を構築している方（そんな人はこの記事を見には来ないはずですが）は、ご自分の開発環境でそのまま以下の手順を実行すればOKです。

ただ、初心者のMacなどはよく分からずにインストールしてしまったAnacondaなどで環境がぐちゃぐちゃになっている可能性があります。Macユーザーでも自分のPCがどういう状態になっているのか自信のない方は、この下の手順に従って「きれいな」Python環境で作業することをおすすめします。

手元にLinux環境がない場合、一番手軽なのはAWS Cloud9を使う方法です。

AWSにログインしたら検索欄に「Cloud9」と入力し、検索結果から「Cloud9」を選択します。
画面右側にある「Create environment」という黄色のボタンをクリックして、新しいCloud9環境の作成に入ります。
次の画面で環境設定を行いますが、Name（名称）を入力する以外はデフォルトでOKです。今回作るCloud9環境は使い捨てにするので、名称は適当でOKです。
名称を決めたら画面右下の「Create」ボタンをクリックしてCloud9インスタンスが作成されるのを待ちましょう。
しばらくするとCloud9環境一覧の画面に画面が切り替わります。上部に表示されているステータスが青色から緑色に変わったら環境構築の完了です。「Open」と書かれたリンクをクリックしましょう。

↓
注意： 作成したCloud9環境を放置しておくと少額のストレージ料金が発生します。Layerの作成をそれほど頻繁に行わない、という場合はLayerの作成が終わったらCloud9環境を削除しておくことをおすすめします。削除の方法はCloud環境名の左側にあるラジオボタンをクリックし、「Delete」ボタンをクリックします。

表示されるダイアログボックスで下側にあるテキストボックスに”Delete”と入力した上で、右下の「Delete」ボタンをクリックします。

2-2. 開発環境のPythonのバージョンをLambdaと揃える

上の「1-2. 制限事項」でも述べた通り、Lambda Layerは実際のLambda関数とランタイムやバージョンを合わせる必要があります。

2023年3月末現在、Lambda関数のPython標準バージョンは3.9となっています。それで、Lambda Layerを作成する環境をPython3.9に合わせておきましょう。（多少のバージョン違いは問題なく動く場合もありますが、トラブルの元になるためおすすめしません）

以下はCloud9開発環境で解説しますが、Macなどでも基本的に操作方法は同じです。

まずはターミナルで以下のコマンドをと入力し、現在の開発環境のPythonバージョンを確認しましょう。Cloud9の場合は初期状態で画面下半分がターミナルとなっています。
```
python —version
```
2023年3月末現在、標準のCloud9開発環境にインストールされているのはPython3.7です。これをPython3.9にアップグレードしていきます。
Pythonの複数バージョンをインストールする場合に必要なのが、pyenvというツールです。まずはこちらをインストールしていきます。以下のコマンドをターミナルに入力しましょう。
```
git clone https://github.com/pyenv/pyenv.git ~/.pyenv
```
しばらく待つとpyenvのインストールが完了します。念のため以下のコマンドを入力して問題なくインストールできたことを確認します。
```
~/.pyenv/bin/pyenv --version
```
以下のような表示になればインストールは完了しています。pyenvのバージョン番号（ここでは2.3.15-1-gb1ee6c93）は2023年3月末のもので、時期によって多少異なる場合がありますが、気にしなくてOKです。
続けてターミナルに以下のコマンドを1行ずつ、先頭の$を除いて入力します。（俗に「PATHを通す」と呼ばれる作業を行っています）
```
echo 'export PATH="$HOME/.pyenv/bin:$PATH"' >> ~/.bashrc

echo 'eval "$(pyenv init -)"' >> ~/.bashrc

source ~/.bashrc
```
「パスが通った」ことの確認として、ターミナルで以下の通り入力します。
```
pyenv --version
```
以下のようにpyenvのバージョンが表示されればOKです。
次に、Python3.9に必要なモジュールをインストールします。ターミナルで以下の通り入力します。
```
sudo yum -y install xz-devel
```
下の画像のようにComplete!というメッセージが表示されればOKです。
いよいよPython3.9のインストールです。ターミナルで以下の通り入力します。
```
pyenv install 3.9.0
```
インストールには数分かかります。下のようにInstalled Python-3.9.0と表示されればインストール完了です！
最後に、Pythonのバージョンを3.9に切り替えます。ターミナルで以下の通り入力します（先頭の$は除いて入力してください）。
```
pyenv global 3.9.0
```
以下のコマンドを入力して、表示が図のようになれば切り替え成功です。
```
pyenv versions

python --version
```
続いて、必要なライブラリのインストールに進みましょう。Lambda Layer用にライブラリをインストールする方法は通常とは少し異なるので、以下の手順に従ってください。

2-3. 必要なライブラリやモジュールをインストールする

Lambda Layer用にライブラリをインストールする際、専用のディレクトリを作成してそこにインストールする必要があります。まずはそのためのLambda Layer用ディレクトリを作成しましょう。以下のコマンドを入力してディレクトリを作成します。ターミナルのプロンプトがec2-user:~/environment/python $となったらOKです。
```
mkdir python && cd $_
```
次に、Layerに必要なライブラリを-tオプション付きでインストールします。ここではOpenAIライブラリを例に説明しますが、OpenAIの部分を自分の必要なライブラリに置き換えてコマンドを実行してください。
```
pip install openai -t .
```
画面にSuccessfully installed…と表示があり、ERRORなどの文字が表示されていなければインストールは完了です。（WARNINGは今回は無視してOKです）

2-5. ディレクトリをZIPファイルに圧縮してダウンロードする

次に、インストールしたライブラリを手元のPCにダウンロードします。Cloud9画面の左側、ディレクトリツリーにあるpythonディレクトリを右クリックして、コンテキストメニューからDownloadを選択します。
名前を付けて保存ダイアログが表示されます。デフォルトのpython.zipだと後で分からなくなるので、ライブラリ名+Layer.zip（例：OpenAILayer.zip）のように分かりやすい名前を付けておくのがおすすめです。

これでCloud9での作業は終了です。この後、Lambda Layerを追加して動作が問題ないことが確認できたら、ここで作成したCloud9環境は削除してOKです。

2-6. LambdaコンソールからLambda Layerを作成する。

この章では、AWS Lambdaコンソールを使ってLambda Layerを作成する方法について解説します。以下の手順に従って、Lambda Layerを作成していきます。

AWSマネジメントコンソールのサービス一覧から「Lambda」を選択します。
AWS Lambdaコンソールの左側のメニューから「レイヤー」を選択します。
「レイヤーの作成」ボタンをクリックして、新しいLambda Layerの作成を開始します。
レイヤー作成画面が表示されたら、以下の項目を入力します。
1. 「名前」フィールドには、Lambda Layerの名前（自分の管理する他のレイヤーと重ならない名前が必要です）
2. 「説明」フィールドは空白でも構いません。
3. 「アップロード」ボタンをクリックし、先程Cloud9からダウンロードした「.zip」ファイルをアップロードします。
4. 「互換性のあるアーキテクチャ」フィールドではx86_64にチェックを入れます。
5. 「互換性のあるランタイム」フィールドをクリックし、Python 3.9を選択します。
6. 最後に、右下の「作成」ボタンをクリックします。しばらくして、「レイヤーmyLayerNameのバージョン１が正常に作成されました。」と表示されたらレイヤーの登録は完了です。

3. Lambda LayerをLambda関数に追加する

この章では、作成したLambda LayerをLambda関数に追加する方法について解説します。以下の手順に従って、Lambda Layerを関数にアタッチしましょう。

AWS Lambdaコンソール左側のメニューから「関数」を選択し、リストから関数を選択します。
関数の編集画面が開かれたら、「レイヤー」セクションの右側にある「レイヤーの追加」ボタンをクリックします。
レイヤー追加ウィンドウが開きます。「レイヤーを選択」セクションで「カスタムレイヤー」を選択し、その下のドロップダウンリストを開いて先ほど作成したレイヤーを選択します。
「バージョン」ドロップダウンを開いて、「１」を選択します。
1. レイヤーを修正するなどしてバージョンが変更されている場合は、ここで最新のバージョンを選択します。
「追加」ボタンをクリックして、選択したLambda Layerを関数にアタッチします。

これで、Lambda関数にLambda Layerを追加できました。関数をテスト実行してみて、Lambda Layerが正しくアタッチされたことを確認できたら作業完了です！

4. Lambda Layer作成についてのよくある質問

Q: Python3.7～Python3.9まで１つのレイヤーで対応させることはできますか

A: できますが、おすすめはしません。レイヤー作成時のPythonのバージョンを3.7にするなどしてレイヤーを作成すれば、とりあえずは動作するかもしれませんが、依存関係などの問題が発生する（そして原因究明に時間がかかる）リスクがあります。面倒でも、それぞれのバージョン用にレイヤーを作っておくのが安全です。

Q: レイヤーの修正が必要になった場合はどうしたらいいですか

A: レイヤーの修正が必要になった場合は、「ライブラリのインストール」の手順からもう一度実行しましょう。レイヤー作成時に何らかの問題があったと思われる場合は、「Cloud9開発環境の構築」からやり直して、きれいな環境でレイヤーを作るとより安全です。レイヤーをアップロードする際には、AWS Lambdaレイヤーコンソール画面から既存のレイヤーを選択し、新しく作成したzipファイルをアップロードすると、バージョン番号がインクリメントされて登録されます。その後、Lambda関数からレイヤーをアタッチする際に最新のバージョン番号を選択しましょう。

Q: Lambda Layerの更新をLambda関数に適用するにはどうすればいいですか？

A: Lambda Layerを更新した場合、関数に適用するには、関数の設定で新しいバージョンのLambda Layerをアタッチし直す必要があります。その後、関数を保存して変更を適用します。新しいバージョンのレイヤーが正しく機能することを確認するために、関数をテストしてください。

Q: Lambda Layerを使うことで何かデメリットはありますか？

A: Lambda Layerの読み込みには一定の時間がかかります。そのため、容量の大きなLayerをいくつもアタッチすると、Lambda関数のコールドスタートに影響がある（関数のレスポンスが遅くなる）可能性があります。ただし、一般的な用途ではほとんど気にならないレベルでしょう。もしパフォーマンスが問題になった場合は、できるだけシンプルな機能のLambda関数を作成したり、Layerのサイズ縮小をするなどしてコールドスタート時間の短縮を図ることができます。

Q: 他の人が作成したLambda Layerを使うことはできますか

A: 可能です。例えばPandasならhttps://aws-sdk-pandas.readthedocs.io/en/stable/layers.html といったところに有志が作成した（軽量化された）レイヤーが公開されています。これらのサードパーティー製レイヤーを使うには、Lambda関数からレイヤーをアタッチする際に、「ARNを指定」を選択し、下のテキストボックスでARNを指定することで利用できます。ただし、信頼できる人が作成したのではないレイヤーは、むやみに使用せず、自分でzipファイルから作成する方が安全です。

5. まとめ

AWS Lambda Layerは、Lambda関数の再利用性を高めるための重要なツールです。このドキュメントでは、初心者でもLambda Layerを作成する手順を解説しました。

サードパーティー製ライブラリをLambda Layer化できるようになると、Lambda開発の可能性が大きく広がります。また、Lambda関数の経験を積んでいくに連れて、自作のライブラリや共通コードをLayer化すれば、開発効率が大幅に向上します。

AWS Lambdaをより効率的に活用するために、ぜひLambda Layerを活用してみてください。