【サーバレス機械学習入門】AWS Lambda レイヤーの使い方 #AWS

はじめに

これは機械学習ツールを掘り下げる by 日経 xTECH ビジネスAI③ Advent Calendar 2019の１日目の記事です。

12/20に記事を書こうと思っていたのですが１日目が埋まっていなかったので突貫工事で記事を書きました。

私はAWS Lambdaが大好きなので、Lambdaで機械学習するノウハウを書いていこうと思います。

本記事ではLambda関数でPandasなどの外部ライブラリを使う方法をまとめておきます。¹

これまでのAWS Lambda

これまでのAWS Lambdaでは、外部ライブラリを用いる場合²

Lambda関数のソースコード
ライブラリのソースコード

これらをZipファイル（デプロイパッケージ）にまとめてアップロードする必要がありました。

その結果、関数の呼び出しは出来るがコンソール上で編集が出来ないという何とも不便な状況でした。

これを解決するのがAWS Lambda レイヤーです。

AWS Lambda Layersとは

追加のコードとコンテンツをレイヤーの形式で取り込むように Lambda 関数を設定することができます。レイヤーは、ライブラリ、カスタムランタイム、またはその他の依存関係を含む ZIP アーカイブです。レイヤーを使用することで、関数のライブラリを使用することができます。デプロイパッケージに含める必要はありません。

直訳日本語が難しいので端的にまとめると。”外部ライブラリや自作モジュールなどをレイヤー形式で取り込むことが出来る機能”のことです。

ライブラリの使い回しやコンソール上での編集が可能になります。

Getting Started

Cloud9の設定
Python環境構築
ZIPアーカイブの作成
Layerの作成

Cloud9のセッティング

ここではLambdaLayersの開発環境としてCloud9を使います。

コードを記述、実行、デバッグできるクラウドベースの統合開発環境 (IDE)
AWS Cloud9（Cloud IDE でコードを記述、実行、デバッグ）| AWS

環境構築はデフォルト設定のままで大丈夫です。

①環境名と説明書きを入力

②インスタンスタイプやOSなどの設定

③あとは作成するだけ

うまくいけば下記のようなIDEが使えるようになります。

Python環境構築

ここでは複数バージョンのPythonを扱えるようにしたいのでpyenvのインストールとPython3.8のインストールを行います。

[Python] pyenvを使ってPythonの複数のバージョンを使い分ける - YoheiM .NET

# pyenvのインストール
curl -L https://raw.githubusercontent.com/yyuu/pyenv-installer/master/bin/pyenv-installer | bash
# 環境変数の設定
vi ~/.bashrc

.bashrcのファイルの末尾に下記を追記する

export PATH="/home/ec2-user/.pyenv/bin:$PATH"
eval "$(pyenv init -)"
eval "$(pyenv virtualenv-init -)"

.bashrcを再読み込み

source ~/.bash_profile

pythonのバージョン変更

ここでは3.8.0に変更してみます。

# python3.8をインストール
pyenv install 3.8.0
# python3.8を設定
pyenv global 3.8.0

インストールされているか確認します。

# pyenvでインストール済みのバージョン確認
pyenv versions

# 現在のpythonバージョン
python3 -V

python -Vで確認すると3.6.8になっているので注意。

Zipアーカイブ作成

mkdir layer_pandas && cd $_
mkdir python && cd $_
pip3 install -t ./ pandas
cd ../
zip -r layer_pandas.zip python/

pip installではなくpip3 installを使うこと！

完成したlayer_pandas.zipをダウンロードもしくはS3にアップロードしておきます。

Layerの作成

Lambdaのコンソール画面の左のカラムの最下部にLayerという項目があるので、下記のように設定&アップロード。

しばらく待つとレイヤーが作成されます。

実験

少しわかりにくいですが、画面中央のLayersの部分をクリックすると設定可能です。

PandasはNumpy同梱なのでnp.xxxxxも使えるようになります。

まとめ

LambdaLayersを使えばLambda開発がぐっとラクになります。

特にwebデータの収集用のレイヤーを用意すると使い回しが効くのでオススメです。

mkdir layer_scraping && cd $_
mkdir python && cd $_
pip3 install -t ./ beautifulsoup4
pip3 install -t ./ requests
pip3 install -t ./ pandas
cd ../
zip -r layer_scraping.zip python/

おわりに

とりあえず、Getting Startedな内容ですがLambdaで機械学習する準備が整いました。次はLightGBMやTensorflowなどの機械学習フレームワークが動かせるか検証したいと思います。

現場からは以上です。

１日目がこんなんでいいのか…？ ↩
組み込み関数ならそのままimport可能 ↩