TL;DR (5行)

頻繁に手動で更新するようなWebページ（今回は例としてZOZOTOWNを使います）を自動チェックしたい
Fargateを使ってSeleniumの実行環境を作ります
ローカルのコンテナをECRにpushしてFargateにデプロイします
Seleniumによるブラウザ操作をスケジュール設定し，バッチ処理として動作させます
バッチ処理の結果は，CloudWatchにてチェック

注意

本記事はFargate+Selenium導入紹介を目的としています．
筆者は内定者で許可もとっているので，題材として自社サービスのZOZOTOWNを使ってます！
もし，記事内容を流用する場合はマナーや規約に違反しない範囲でお願いします！

使用するサービスの説明

Fargateとは

通常コンテナをEC2で運用する場合，インスタンス管理する必要がありますが，Fargateの場合，インスタンス管理はAmazon側に任せ，コンテナを登録するだけでサーバレスにコンテナを動作させることができるサービスです．

サーバレスで有名なサービスとしてLambdaがありますが，こちらはコンテナを使えなかったり，タイムアウトなどの制約から柔軟性に欠ける部分があります．

一方で，Fargateはローカルで実行しているコンテナをそのまま登録して使えるため，多様なサービスの提供が可能です．

Seleniumとは

Webアプリのテストを自動化するためのブラウザ駆動型テストツールです．

PythonやRuby，Javaなど多様な言語に対応しており，簡単にテストスクリプトを作成することができます．

アーキテクチャ

今回は，AWS上に以下のようなアーキテクチャを構築します．

Dockerfileとメインコードの作成

Selenium + Pythonでテストスクリプトを作成します．

Dockerfileの作成

./Dockerfile

FROM joyzoursky/python-chromedriver:3.8-alpine3.10-selenium

WORKDIR /usr/src
ADD main.py /usr/src

CMD ["python", "main.py"]

今回，Selenium+Headless Chromeを使うにあたって，
ベースイメージはこちらを使っています．

joyzoursky/python-chromedriver:3.7-alpine3.8-selenium
https://hub.docker.com/r/joyzoursky/python-chromedriver/

メインコードの作成

./main.py

# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.common.exceptions import TimeoutException, ElementClickInterceptedException, NoSuchElementException

def check_coupon(driver, my_favorite_brand):
    # ZOZOのクーポンページに遷移
    driver.get("https://zozo.jp/coupon/")
    i = 1
    while True:
      try:
          coupon_brand = driver.find_element_by_xpath(f'//*[@id="body"]/div[3]/ul/li[{i}]/a/figure/div[2]').text
          if coupon_brand == my_favorite_brand:
              return True
          i += 1
      except NoSuchElementException:
          return False

if __name__ == '__main__':
    try:
        # Headless Chromeの設定
        options = webdriver.ChromeOptions()
        options.add_argument('--no-sandbox')
        options.add_argument("--disable-setuid-sandbox")
        options.add_argument('--window-size=1420,1080')
        options.add_argument('--headless')
        options.add_argument('--disable-gpu')
        # Headless Chromeブラウザに接続
        driver = webdriver.Chrome(options=options)
        # seleniumの動作タイムアウトを15秒間に設定
        driver.implicitly_wait(15)

        # 好きなブランド
        my_favorite_brand = "Carlie e felice"
        # クーポンのチェック
        if check_coupon(driver, my_favorite_brand):
            print("見つけたよ！ ", my_favorite_brand)
        else:
            print("今日は見つけられなかった・・・")

    # 例外処理
    except ElementClickInterceptedException as ecie:
        print(f"exception!\n{ecie}")
    except TimeoutException as te:
        print(f"timeout!\n{te}")
    finally:
        # 終了
        driver.close()
        driver.quit()

クーポンページにブランド：Carlie e feliceがあるかどうかチェックします．

Requests + Beautiful Soup 4でスクレピングしても良かったのですが，今回はSeleniumを使った環境を構築したかったので，まさかり投げないでください；；

ローカル環境でコンテナの実行

# コンテナの構築
$ docker build -t zozo_check_coupons .

# コンテナの実行
$ docker run -it --rm zozo_check_coupons
見つけたよ！  Carlie e felice

無事，ローカル環境で実行できたことを確認したら，次はこのコンテナをAmazon ECRにプッシュします．

ECRはAWS上のプライベートなDocker Hubみたいなイメージです．

AWSの必要環境の構築

ECRの環境を構築

ECRのリポジトリ作成

ECRに今回管理したいコンテナ専用のリポジトリを作成します．

サービスから，ECRを選択し，リポジトリの作成を選択
リポジトリ名「zozo_check_coupons」を入力し，リポジトリを作成

無事，リポジトリを作成することができました

このときの，リポジトリのURIはコンテナをプッシュするときに，使うのでメモしておきましょう．

ECRにログイン

$ aws ecr get-login --region ap-northeast-1 --no-include-email
docker login -u AWS -p ...
.
.
. .dkr.ecr.ap-northeast-1.amazonaws.com

# 返ってきたdocker login ~をコピペして打ち込む
$ docker login -u AWS -p ...
Login Succeeded

ECRにプッシュ

先程，メモしたリポジトリのURLをコピペし，作成したリポジトリにプッシュします

# リポジトリのURIでタグを付ける
$ docker build -t xxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/zozo_check_coupons .
# タグをつけたコンテナをECRにプッシュする
$ docker push xxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/zozo_check_coupons

コンテナを無事リポジトリにプッシュできました

イメージのURIは，タスク定義で使うので，メモしておきましょう

ECSでクラスター作成

コンテナを動作させる環境であるクラスターを作ります

サービスからECSを選択し，クラスターの作成を選択します．
クラスターテンプレート「ネットワーキングのみ」を選択

クラスター名を入力し，VPCの作成にチェックします．

最後に，作成ボタンを押せばクラスターが作成できます

ECSでタスクの定義

次に，タスクの定義をします．

新しいタスクの定義の作成を選択します
起動タイプの互換性の選択でFargateを選択

以下のようにタスクを定義します

タスク実行ロールが何もない場合は，下の余談を参照し，作成してください

コンテナ追加を選択し，コンテナ名と先程プッシュしたコンテナイメージのURIをここでコピペします

メモリとCPUを設定

最後に，作成を選択してタスク定義完了です

余談 : CLIでタスク定義

タスク実行に必要なロールを定義

./task-execution-assume-role.json

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": "ecs-tasks.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

定義ファイルを用いて，ロールの作成

$ aws iam --region ap-northeast-1 create-role --role-name ecsTaskExecutionRole --assume-role-policy-document file://task-execution-assume-role.json

タスクの定義ファイルを作成

./task-config.json

{
  "family": "zozo-check-coupons-task",
  "networkMode": "awsvpc",
  "containerDefinitions": [
    {
      "name": "zozo-check-coupons-task",
      "image": "xxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/zozo_check_coupons:latest",
      "logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-region": "ap-northeast-1",
          "awslogs-group": "/ecs/zozo_check_coupons-task",
          "awslogs-stream-prefix": "ecs"
        }
      }
    }
  ],
  "requiresCompatibilities": ["FARGATE"],
  "cpu": "256",
  "memory": "512",
  "executionRoleArn": "arn:aws:iam::xxxxxxxx:role/ecsTaskExecutionRole"
}

定義ファイルをもとにタスクを作成

$ aws ecs register-task-definition --cli-input-json file://task-config.json

これで，打ち間違い，漏れなくタスクを定義することができます

詳しくは，こちらを参照ください
https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/ecs-cli-tutorial-fargate.html

スケジュール実行の作成

次に，いよいよ定義したタスクをスケジュールで実行していきます．

作成したクラスターを選択し，タスクのスケジューリングを選択，そして作成を押します

以下のように設定しました．固定時間は，クーポン更新が24時間だったので24に設定しました

クラスター作成時に，作成したVPCを選択します
最後に，作成を選択すると，タスクが実行されます

CloudWatchでログをチェック

タスクが完了すると，CloudWatchの方にログが送られます

確認すると，以下のようなログがありました！

今日は無いみたいですね．．．

おわりに

Fargate + Seleniumの環境を作りました！
Fargateはコンテナを使って動かしたコンテナをそのまま登録できるので，かなり柔軟性はいいです．

ですが，クローリングをする場合，CPUやメモリにページの読み込みが遅くなり，プログラムによるブラウザ操作がうまく行かなかったり，タイムアウトが発生してしまう場合があるので，sleepを入れる等の対策は十分にしたほうが良さそうです．

最後に，本記事は導入目的で紹介しているので，流用する場合はマナーや規約をよく読んでからお願いします！