SeleniumをLambdaで実行する(快適な)環境を作る

この記事について

ブラウザ操作をLambdaで自動化したいのですが、調べてみたらSeleniumを利用すればできそうです。
LambdaとSeleniumを利用して、快適なサーバレススクレイピング環境を作る手順を記載します。

事前知識

AWS Lambdaとは

サーバレスで関数(プログラム)を実行することができるAWSサービスです。
EC2などのコンピューティングリソースを使用せずに、実行したい時にプログラムを実行させることができます。
利用料金は関数の実行回数に依るため、利用料金が時間単位であるEC2などを利用する場合に比べて大幅にコストを下げることが可能です。(実行回数が多すぎる場合は、EC2よりも割高になってしまうケースもあるかもしれません)

他のAWSサービスから呼び出すことも可能であり、連携性が非常に高いです。

Seleniumとは

ブラウザ操作をプログラムで自動化することができるツール(ライブラリ)です。
ChromeやFirefoxなどの主要なブラウザは一通りサポートしています。

Seleniumの実行モードには２つのモードがあります。

モード	説明
Headfulモード	Seleniumを実行した際にブラウザが実際に立ち上がるモードです。ブラウザがどのように遷移しているかといった動き確認できます。
Headlessモード	バックグランドでSeleniumが実行されます。ブラウザは表示されません。そのため、何が起きているか分かりにくいというデメリットはありますが、処理が高速でありGUIがない環境でも実行することができます。

LambdaにてSeleniumを実行するためには、Headlessモードで実行する必要があります。

前提

• AWSアカウントにアクセスできる
• AWS CLIが利用可能
• SAM CLIが利用可能

やること

• ① LambdaにてSeleniumをHeadlessモードで実行できるようにする
• ② AWS SAMを利用したIaC (Infrastructure as Code)
• ③ ローカルでテストしやすいようにする(Headfulモード)

① LambdaにてSeleniumをHeadlessモードで実行できるようにする

LambdaのPythonスクリプトでSeleniumをHeadlessモードで実行できるようにします。
SeleniumなどのライブラリはLambdaレイヤーにする必要があるため、その作成も必要になります。

後述しますが、Selenium関連パッケージのバージョンの互換性がとてもややこしいです。
バージョンが違うと動かないので、注意しましょう。

② AWS SAMを利用したIaC (Infrastructure as Code)

Lambda関数やレイヤーをSAMでコード管理できるようにします。
コード管理しておくと他の人にも使ってもらいやすくなりますし、Gitで管理すれば変更管理などもしやすいです。

③ ローカルでテストしやすいようにする(Headfulモード)

Healessモードは動作が高速ですが、ブラウザが見えないためどのように動いているか確認しにくいです。

実際にLambdaでSeleniumを利用したプログラムを作成する際は

[1] テストして問題なく動いていることを確認
[2] Lambdaにデプロイ

という流れになるかと思います。
[1]のテストをローカルにてHeadfulモードで行うことができれば、プログラム作成の効率が高くなると思います。

注意事項

Seleniumパッケージのバージョン互換性について

本手順において以下のパッケージを利用します。

• selenium
• serverless-chrome
• chrome-driver

これらのバージョンには互換性があり、互換性がないバージョンだとLambda上で動いてくれません。そのため、利用するバージョンに十分注意する必要があります。
serveless-chromeとchrome-driverはバージョンを指定することができます。しかし、seleniumはpipでダウンロードする場合、インストールするプラットフォームに依存するパッケージがダウンロードされます。つまりLambda上で動くパッケージを入手しなくてはいけません。

Macなどで直接pipでseleniumをダウンロードしても、lambdaで動くパッケージはダウンロードされません。そのためdockerを利用して、lambdaで動くパッケージをダウンロードするという一工夫が必要になります。

手順 : ① LambdaにてSeleniumをHeadlessモードで実行できるようにする

Lambdaレイヤー作成の準備

SeleniumなどのライブラリはLambdaレイヤーにして関数から呼び出すことで利用することができます。
ここではそれらレイヤー作成の準備を行います。

ちなみにLambdaレイヤーでは以下いずれかのディレクトリ配下であれば、自動的にファイルを読み込んでくれます。

・python
・python/lib/python3.x/site-packages

※3.xは使用するpythonのバージョンです

Seleniumのダウンロード

Seleniumをダウンロードするときはpipコマンドを利用します。

その際にダウンロードされるSeleniumは、その環境で実行可能なものになります。つまりLambdaで実行するためには、Lambdaで実行可能なものをダウンロードする必要があります。
Mac環境などでダウンロードすると、Lambdaで実行することができないものがダウンロードされてしまうので、Dockerを利用してLambdaで実行可能なファイルをダウンロードします。

Lambda環境を模倣したlambci/lambdaというDockerイメージを利用します。
(このイメージですが、build-python:3.6でないとダメです。今回LambdaのランタイムはPython3.7ですが、このイメージのbuild-python:3.7を利用してしまうと互換性がなくなってしまいます。)

Dockerfileを作成します。

Dockerfile

FROM lambci/lambda:build-python3.6

WORKDIR /work

CMD pip install --upgrade pip && \
  pip install selenium -t /python/lib/python3.7/site-packages && \
  zip -r selenium.zip /python/

以下を実行して、seleniumをダウンロードします。

> docker build -t selenium .
> docker run -v "${PWD}":/work selenium

selenium.zipファイルが作成されます。

❯ ls
Dockerfile	selenium.zip

headless-chromiumとchromedriverのダウンロード

headless-chromiumをダウンロードします。

> mkdir -p python/bin/
> curl -SL https://github.com/adieuadieu/serverless-chrome/releases/download/v1.0.0-37/stable-headless-chromium-amazonlinux-2017-03.zip > headless-chromium.zip
> unzip headless-chromium.zip -d python/bin/
> rm headless-chromium.zip

続けて、chromedriverをダウンロードします。

> curl -SL https://chromedriver.storage.googleapis.com/2.37/chromedriver_linux64.zip > chromedriver.zip
> unzip chromedriver.zip -d python/bin/
> rm chromedriver.zip

ダウンロードしたパッケージをZipに圧縮します。

❯ zip -r chromedriver.zip python
❯ rm -rf python
❯ ls
Dockerfile		chromedriver.zip	selenium.zip

Lambdaレイヤーの作成

chromedriver.zipとselenium.zipはLambdaレイヤーを作成する際に利用します。Lambdaレイヤーを作成する際は直接ファイルをアップロードするより、S3から読み込ませる方が楽です。
そのため、適当なS3バケットを作成して、そこのzipファイルをアップロードします。

❯ aws s3 cp selenium.zip s3://tmp-bucket-matsuda-20230227/
❯ aws s3 cp chromedriver.zip s3://tmp-bucket-matsuda-20230227/
❯ aws s3 ls s3://tmp-bucket-matsuda-20230227/
2023-03-18 16:23:48   46335228 chromedriver.zip
2023-03-18 16:23:39    1389024 selenium.zip

S3にファイルをアップロードできたら、レイヤーを作成します。

Lambda関数の作成

続いて関数を作成します。

先ほど作成したレイヤー seleniumとchromedriverを追加します。
(バージョンは私が色々試している内にインクリメントされてしまったので、気にしないでください)

以下のコードを入力して、デプロイします。

lambda_function.py

from selenium import webdriver

def lambda_handler(event, context):

    URL = "https://news.yahoo.co.jp/"

    options = webdriver.ChromeOptions()
    options.add_argument("--headless")
    options.add_argument("--disable-gpu")
    options.add_argument("--hide-scrollbars")
    options.add_argument("--single-process")
    options.add_argument("--ignore-certificate-errors")
    options.add_argument("--window-size=880x996")
    options.add_argument("--no-sandbox")
    options.add_argument("--homedir=/tmp")
    options.binary_location = "/opt/python/bin/headless-chromium"

    #ブラウザの定義
    browser = webdriver.Chrome(
        "/opt/python/bin/chromedriver",
        options=options
    )


    browser.get(URL)
    title = browser.title
    browser.close()

    return title

追加で以下の設定を行います。

• メモリを512MBに
• タイムアウトを5分に

動作確認

関数を実行したら、以下のようにyahooニュースのタイトルが出力されます。

これでLambdaにてSeleniumをHeadlessモードで動かすことができるようになりました。
あとはLambdaのコードをカスタマイズすれば、好みの操作を行うことができます。

手順：② AWS SAMを利用したIaC (Infrastructure as Code)

SAMプロジェクトの作成

オプションでランタイムをpython3.7に指定します。

❯ sam init --runtime python3.7

Quick Start TemplatesのHello World Exampleを選択します。(API Gatewayなどもテンプレートに含まれてしまいますが、後ほど削除します。)

Which template source would you like to use?
        1 - AWS Quick Start Templates
        2 - Custom Template Location
Choice: 1

Choose an AWS Quick Start application template
        1 - Hello World Example
        2 - Infrastructure event management
        3 - Multi-step workflow
        4 - Serverless Connector Hello World Example
        5 - Multi-step workflow with Connectors
Template: 1

x-rayは使いません。

Would you like to enable X-Ray tracing on the function(s) in your application?  [y/N]: N

プロジェクト名は任意です。

Project name [sam-app]: selenium-headless

作成した直後のプロジェクトは以下のファイル構成になっています。

❯ tree selenium-headless 
selenium-headless
├── README.md
├── __init__.py
├── events
│   └── event.json
├── hello_world
│   ├── __init__.py
│   ├── app.py
│   └── requirements.txt
├── template.yaml
└── tests
    ├── __init__.py
    └── unit
        ├── __init__.py
        └── test_handler.py

不要なファイルを削除します。

❯ rm -rf selenium-headless/__init__.py selenium-headless/events selenium-headless/tests selenium-headless/hello_world 

❯ tree selenium-headless 
selenium-headless
├── README.md
└── template.yaml

SAMプロジェクトのカスタマイズ

テンプレートファイルを以下のように修正します。
詳しくは説明しませんが、① LambdaにてSeleniumをHeadlessモードで実行できるようにするにて作成したレイヤー２つと、関数１つを定義しています。

selenium-headless/template.yaml

AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31
Description: >
  selenium-headless

  Sample SAM Template for selenium-headless

Globals:
  Function:
    Timeout: 300
Resources:
  SelenumHeadlessFunction:
    Type: AWS::Serverless::Function
    Properties:
      CodeUri: function/selenium-headless/
      Handler: lambda_function.lambda_handler
      Runtime: python3.7
      Architectures:
        - x86_64
      MemorySize: 512
      Layers:
        - !Ref SeleniumLayer
        - !Ref ChromedriverLayer
  SeleniumLayer:
    Type: AWS::Serverless::LayerVersion
    Properties:
      Description: selenium Layer
      ContentUri: layer/selenium.zip
      CompatibleRuntimes:
        - python3.7
    Metadata:
      BuildMethod: python3.7
  ChromedriverLayer:
    Type: AWS::Serverless::LayerVersion
    Properties:
      Description: chrome driver Layer
      ContentUri: layer/chromedriver.zip
      CompatibleRuntimes:
        - python3.7
    Metadata:
      BuildMethod: python3.7         

① LambdaにてSeleniumをHeadlessモードで実行できるようにするにて作成したchromedriver.zipとselenium.zipをプロジェクトディレクトリに加えます。

❯ mkdir selenium-headless/layer
❯ mv chromedriver.zip selenium-headless/layer 
❯ mv selenium.zip selenium-headless/layer 

lambda関数用のディレクトリを作成します。

❯ mkdir selenium-headless/function/selenium-headless

以下のファイルを関数用のディレクトリに追加します。

selenium-headless/function/selenium-headless/lambda_function.py

from selenium import webdriver

def lambda_handler(event, context):

    URL = "https://news.yahoo.co.jp/"

    options = webdriver.ChromeOptions()
    options.add_argument("--headless")
    options.add_argument("--disable-gpu")
    options.add_argument("--hide-scrollbars")
    options.add_argument("--single-process")
    options.add_argument("--ignore-certificate-errors")
    options.add_argument("--window-size=880x996")
    options.add_argument("--no-sandbox")
    options.add_argument("--homedir=/tmp")
    options.binary_location = "/opt/python/bin/headless-chromium"

    #ブラウザの定義
    browser = webdriver.Chrome(
        "/opt/python/bin/chromedriver",
        options=options
    )


    browser.get(URL)
    title = browser.title
    browser.close()

    return title

❯ tree selenium-headless
selenium-headless
├── function
│   └── selenium-headless
│       └── lambda_function.py
├── layer
│   ├── chromedriver.zip
│   └── selenium.zip
└── template.yaml

SAMプロジェクトのデプロイ

プロジェクトディレクトのトップでビルドを実行します。

❯ cd selenium-headless 
❯ sam build                   

guidedオプション付きでdeployを行います。

❯ sam deploy --guided

Configuring SAM deploy
======================

        Looking for config file [samconfig.toml] :  Not found

        Setting default arguments for 'sam deploy'
        =========================================
        Stack Name [sam-app]: selenium-headless
        AWS Region [ap-northeast-1]: ap-northeast-1
        #Shows you resources changes to be deployed and require a 'Y' to initiate deploy
        Confirm changes before deploy [y/N]: y
        #SAM needs permission to be able to create roles to connect to the resources in your template
        Allow SAM CLI IAM role creation [Y/n]: Y
        #Preserves the state of previously provisioned resources when an operation fails
        Disable rollback [y/N]: N
        Save arguments to configuration file [Y/n]: Y
        SAM configuration file [samconfig.toml]: samconfig.toml
        SAM configuration environment [default]: default

Lambda関数とレイヤーが作成されるので、動作確認を行います。

ちゃんと動いてそうですね！

手順：③ ローカルでテストしやすいようにする(Headfulモード)

仮想環境の作成

❯ python3 --version
Python 3.7.10

❯ tree                  
.
├── Dockerfile
├── README.md
└── selenium-headless
    ├── function
    │   └── selenium-headless
    │       └── lambda_function.py
    ├── layer
    │   ├── chromedriver.zip
    │   └── selenium.zip
    ├── samconfig.toml
    └── template.yaml

venvで仮想環境を作成します。

❯ python3 -m venv .env

仮想環境をアクティベーションします。

❯ source .env/bin/activate

Selenium, Webdriver Managerのインストール

chrome driverとchromeのバージョンには互換性があります。
chromeのバージョンはどんどん更新されていってしまいます。そのため、それに伴ってchrome driverのバージョンもアップデートする必要があります。

手動でこのバージョン管理に対応するのは大変なので、WebDriver Managerというツールを利用します。

.env ❯ pip install selenium         
.env ❯ pip install webdriver_manager

他の環境でも使えるようにrequirements.txtにパッケージ情報を保存しておきます。

.env ❯ pip freeze > requirements.txt

スクリプトの編集

スクリプトを編集します。

selenium-headless/function/selenium-headless/lambda_function.py

from selenium import webdriver

def lambda_handler(event, context, is_lambda=True):

    URL = "https://news.yahoo.co.jp/"

    options = webdriver.ChromeOptions()

    # Lambdaから呼び出した場合
    if is_lambda:
        options.add_argument("--headless")
        options.add_argument("--disable-gpu")
        options.add_argument("--hide-scrollbars")
        options.add_argument("--single-process")
        options.add_argument("--ignore-certificate-errors")
        options.add_argument("--window-size=880x996")
        options.add_argument("--no-sandbox")
        options.add_argument("--homedir=/tmp")
        options.binary_location = "/opt/python/bin/headless-chromium"

        browser = webdriver.Chrome("/opt/python/bin/chromedriver", options=options)

    # 直接呼び出した場合
    else:
        from webdriver_manager.chrome import ChromeDriverManager

        browser = webdriver.Chrome(ChromeDriverManager().install())

    browser.get(URL)
    title = browser.title
    browser.close()

    return title

if __name__ == "__main__": 
    result = lambda_handler(event=None, context=None, is_lambda=False)
    print(result)

if分の中でライブラリ(ChromeDriverManager)をインストールするという見慣れないことをしていますが、今のところこれしか思いつかないのでご勘弁ください。

ローカルで実行

.env ❯ cd selenium-headless/function/selenium-headless 
.env ❯ python lambda_function.py

Headfulモードで実行されて、yahooのタイトルが取得できればOKです。

.env ❯ python lambda_function.py
lambda_function.py:27: DeprecationWarning: executable_path has been deprecated, please pass in a Service object
  browser = webdriver.Chrome(ChromeDriverManager().install())
Yahoo!ニュース

再度デプロイもしておきます。

.env ❯ sam build               
.env ❯ sam deploy

Lambda上でも問題なく実行できることを確認しましょう。

成果物

以下のレポジトリにあります。
https://github.com/keiusukematsuda/selenium-headless

参考

https://qiita.com/nabehide/items/754eb7b7e9fff9a1047d
https://qiita.com/ichihara-development/items/5e61c3424b3176bc6096
https://syachiku.net/aws-lambda-python-selenium/