OpenCVをAWS Lambda + Python + Serverless Frameworkで動かしてみました。

先日、PillowをLambdaで動かす記事を書きましたが、このときと違って、OpenCVはyumでインストールの必要なshared objectに依存しているのでだいぶ面倒でした。

手順概要

serverless-python-requirements インストール
Pythonサンプルコードを記述
requirements.txt と serverless.yml と Dockerfile にOpenCV動作に必要な事項を記述
あとはデプロイ

OpenCV特有は3のみです。

手順詳細

serverless-python-requirements インストール

AWS Lambda + Python + Serverless FrameworkにPythonのパッケージをインストールする方法は以前の記事に書きました。

Serverless FrameworkとAWS Lambda with Pythonの環境にpipインストール

これに従って、まずは serverless create して、serverless-python-requirementsプラグインをインストールします。

$ serverless create --template aws-python3

$ serverless plugin install -n serverless-python-requirements

ServerlessFrameworkのバージョンはv2.18.0でした。

Pythonソースコード

handler.py の内容です。OpenCVを参照できることを確認できる最小限です。

import cv2

def hello(event, context):
    print("Hellow, OpenCV!")
    print(cv2.__version__)

requirements.txt

OpenCVのパッケージ名を記述します。この1行のみです。

opencv-python

serverless.yml

serverless.yml の記載がもっとも面倒でした。成功例を書きます。

service: sample

frameworkVersion: '2'

provider:
  name: aws
  runtime: python3.8
  lambdaHashingVersion: 20201221
  region: ap-northeast-1

functions:
  hello:
    handler: handler.hello
    events:
      - httpApi: "*"

plugins:
  - serverless-python-requirements

custom:
  pythonRequirements:
    dockerizePip: true
    dockerFile: Dockerfile
    dockerExtraFiles:
      - /usr/lib64/libGL.so.1
      - /usr/lib64/libgthread-2.0.so.0
      - /usr/lib64/libglib-2.0.so.0
      - /usr/lib64/libGLX.so.0
      - /usr/lib64/libX11.so.6
      - /usr/lib64/libXext.so.6
      - /usr/lib64/libGLdispatch.so.0
      - /usr/lib64/libxcb.so.1
      - /usr/lib64/libXau.so.6

Dockerfile

Dockerfile を作成します。serverless.ymlからファイル名で参照しています。

FROM lambci/lambda:build-python3.8

RUN yum install -y mesa-libGL

デプロイと実行

デプロイ。

$ serverless deploy -v

デプロイされたLambdaを実行するとCloudWatch Logsに以下が出力されました。

Hellow, OpenCV!
4.5.1

serverless.yml を書くまでの道のり

最初は以下だけで動かそうとしました。

service: sample

frameworkVersion: '2'

provider:
  name: aws
  runtime: python3.8
  lambdaHashingVersion: 20201221
  region: ap-northeast-1

functions:
  hello:
    handler: handler.hello

plugins:
  - serverless-python-requirements

これでデプロイしてLambdaを実行すると、CloudWatch Logsに以下のエラーが吐かれました。

[ERROR] Runtime.ImportModuleError: Unable to import module 'handler': libGL.so.1: cannot open shared object file: No such file or directory

libGL.so.1 というファイルが不足しているので、これを追加すればよいのですが、これは環境に依存していそうなので、手元にある同じファイル名をコピーしただけではたぶん動きません。Lambdaの動くAmazon Linux環境でこのファイルを用意する必要があります。

これをするためにserverless.yml にdockerの記述をします。以下の記述です。

custom:
  pythonRequirements:
    dockerizePip: true
    dockerFile: Dockerfile
    dockerExtraFiles:
      - ...

Dockerfileも用意します。

FROM lambci/lambda:build-python3.8

RUN yum install -y mesa-libGL # OpenCVに必要なパッケージをインストール

これを書くだけでserverlessがデプロイ時にDockerを起動して、Lambdaの動くAmazon Linux環境を再現し、その中でyumインストールしてくれます。serverless.ymlのdockerExtraFilesに記載したファイルを、yumインストール後に抜き出して、Lambdaデプロイイメージに同梱してくれます。

dockerExtraFilesに書いたリストは、デプロイして実行時のエラーメッセージから1つずつ書き足して、成功するまで繰り返しました。

エラーメッセージにはsoファイル名しか表示されませんので、以下のコマンドでLambdaの動くAmazon Linux環境の中に入ってみて、yum install -y mesa-libGLしてから、soファイルのありかを探しました。

$ docker run -it --rm lambci/lambda:build-python3.8 bash

Amazon Linux上では /usr/lib64/libGL.so.1 は /usr/lib64/libGL.so.1.7.0 へというように、すべてシンボリックリンクになっていますが、serverless.ymlには実態ではなくシンボリックリンクだけ記述すれば動きました。

注意事項

ここに書いているsoファイルのリストはサンプルPythonコードを動かすために最小限のものです。エラーメッセージを見て、足りないsoファイルを追加するというのを繰り返しましたのみです。従ってOpenCVのすべての動作がこれだけで足りてるかどうかはわかりません。

ハマりどころ1

.serverless/requirements/の中にLambdaのイメージが展開されるのですが、Dockerで構築されるためか、soファイルがroot権限になり、試行錯誤の過程で serverless.yml の変更が権限不足で反映できないというトラブルがありました。原因がわかればroot権限でそのディレクトリを削除することで解決しましたが、それに気が付くまで時間をだいぶ消耗しました。

ハマりどころ2

serverlessが内部でDockerを利用するため、serverless自体をDockerの中で動かしたらデプロイ時にDockerでエラーになりました。Dockerのvolumeも使っていたので、Dockerのsocket共有でもうまくいかず、あきらめました。

ハマりどころ3

最初はLambdaのLayerにOpenCVを入れたかったのですが、LD_LIBRARY_PATH がLayerには通っていないため、OpenCVを動作させることはできませんでした。

OpenCVをAWS Lambda + Python + Serverless Frameworkで動かす