はじめに
【AWS Lambda関数作成】Lambda関数の開発に関しての備忘録です。
初心者です😅
間違えてる部分が多々あると思います。
もし見つけた場合、ツッコミいただけると助かります🙇
🦁結論🦁
作成手順
- 関数の作成
- エディタにて関数作成（AWS Lambdaに直接でも可能）
- Lambdaにアップロード
- デバック（テスト）の実施
押さえておくべき点
- lambdaはサーバーレスコンピューティング
- サーバーレスコンピューティングはユーザーインターフェイスを持ってないためヘッドレスブラウザが必要になる。
- loggerを使ってログを残すことを行う
- headlessのWindowサイズは1200x1000
- サーバーのデータのやり取りは基本は「json形式」
- 関数の最後にレスポンスの定義をする。
注意点
- ほとんどのコードを関数の中に書き込む必要がある（変数定義、空の辞書定義、loggerの初期化、URLなど）
- headlessのWindowサイズは1200x1000ぐらいにしておく必要がある。
- ローカルファイル（エディタなど）で作成したファイルをAWS Lambdaへアップロードする際にはzipファイルになる。
- AWS Lambdaへアップロードする際にはzipファイルは10 MB より大きい場合は、Amazon S3 を使用したアップロードが必要。
前提🙊
- AWS Lambdaの作成手順を理解してる。
- AWSのアカウント作成できてる。
- AWSの環境構築ができてる。
- Seleniumに対しての理解がある。
- Seleniumのオプション（headlessなど）の理解がある。
Seleniumなどの知識はやりながらでも大丈夫だと思います。
事前に調べておけるとコードの理解に深みが出ると思います。
特に「headless」に関しての知識は先に勉強しておくことをお勧めします。
※スクレイピングするサイトは注意して選定する必要がある。
※スクレイピングするための要素の選定は各自で修正してください。ここでは特定のものを先手してありますがサイトごとに違う
ここでは
検索バー：”keyword”
検索ボタン：”.__button.c-button"
商品名：'h2’タグ
価格：'dd’タグ
これらでスクレイピング。
手順詳細
※前回の「selenium + AWS lambda開発環境の構築」を実施されていれば「1. 関数の作成」は必要ありません。
1. 関数の作成
- ローカルにて作成したファイルをzip化する。
- AWSの画面左上の検索バーに「 Lambda」と入力して検索
- 関数の管理をクリック。
- 左上のハンバーガーメニューをクリック。
- レイヤーをクリック。
- 対象のレイヤーがあることを確認（作成方法がわからない場合は「selenium + AWS lambda開発環境の構築」にて確認）
- 左側のメニューから「関数」をクリック。
- 作成した関数があるかを確認（作成方法がわからない場合は「selenium + AWS lambda開発環境の構築」にて確認）
2. エディタにて関数作成（AWS Lambdaに直接でも可能）
- 下記のコードをご確認ください。
3. Lambdaにアップロード
- Lambdaのメイン画面を出す。
- 作成した関数をクリック（今回はscraper）
- コードをクリック（デフォルトの場合は必要なし）
- アップロード元をクリックして「zipファイル」を選択。
- アップロードするファイルを選択してアップロードする。
- アップロードしたコードが反映してるのか確認。
- 「deploy」を押す
4. デバック（テスト）の実施
- 「テスト」をクリック。
- 下記のコードを「イベントjson」に入力する
※jan_codeは任意で入力
{
"local_jan_code": "4900xxxxx"
}
- cloudshellにてログを確認する（ターミナルみるイメージ）
※テストの詳細にも表示される。
レスポンスで200が返ってきてるのかを確認する。
コード全体
AWS_Lambda.py
# scraper.py
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import logging
import json
def lambda_handler(event, context):
logger = logging.getLogger()
logger.setLevel(logging.INFO)
logger.info(f"処理スタート")
url = "https://www.petpochitto.com/"
# webdriver（Chrome）のオプションを使うことを宣言
options = webdriver.ChromeOptions()
# webdriverのどんなオプション使うのかを選定
options.add_argument("--headless")
options.add_argument("--disable-gpu")
options.add_argument("--hide-scrollbars")
options.add_argument("--single-process")
options.add_argument("--ignore-certificate-errors")
options.add_argument("--window-size=1200x1000") # サイズを大きくすることでsend_keysでの
options.add_argument("--no-sandbox")
options.add_argument("--homedir=/tmp")
# headlessのChromeバージョンを選定
options.binary_location = "/opt/headless/headless-chromium"
logger.info(f"ブラウザのパスを指定")
browser = webdriver.Chrome(
# Chromeを操作できるようにするためのdriverをAWSにあるパスを選定
executable_path="/opt/headless/chromedriver",
options=options
)
logger.info(f"ブラウザを開く")
# URLを開く
browser.get(url)
# リクエストのBODYを取得
request_body = event.get('local_jan_code')
logger.info("リクエストボディが存在します: %s", request_body)
logger.info("ページロードを待機しています...")
# ページが完全にロードされるのを待つ
WebDriverWait(browser, 3).until(
lambda browser: browser.execute_script('return document.readyState') == 'complete'
)
logger.info("ページが完全にロードされました。")
if request_body:
# jsonファイルの読み込みを実施
# 読み込みができなかったらログを残す。
try:
request_data = json.loads(request_body) # jsonを解析
request_data_str = str(request_data)
logger.info(f"解析完了: {request_data_str}")
logger.info("Opened URL: " + url)
except json.JSONDecodeError as e:
logger.error(f"解析エラー:{e}")
# "keyword"→最初の要素→name属性の値
# 検索バー（IDがkeyword）が見つからなかったらログを残す
try:
elements = browser.find_elements_by_id("keyword")
if elements:
element = elements[0]
name_attribute = element.get_attribute('name')
logger.info(f"ID:keywordをサーチ済み")
logger.info(f"Element tag name: {element.tag_name}")
logger.info(f"Element name attribute: {name_attribute}")
logger.info(f"{request_data_str}")
else:
logger.info(f"ID:keywordが見つからない")
except TimeoutException:
logger.error(f"設定した時間で見つけられない。")
# テキストボックスに検索ワードを入力
# キーワードが入力できなかったらログを残す。
try:
if element.is_displayed():
element.send_keys(request_data_str)
logger.info("キーワード入力に成功")
else:
logger.info("要素が表示されていません")
except Exception as e:
logger.error(f"キーワード入力失敗: {e}")
# 検索ボタンを探す
# クリックができるようになるまで最大6秒、動的待機
search_buttan = browser.find_element_by_css_selector(".__button.c-button")
logger.info("検索ボタンを探すことを開始")
# 検索ボタンをクリック
search_buttan.click()
logger.info("検索ボタンをクリック")
# ddタグを見つける
# 見つけるまで最大6秒、動的待機
all_ddtags = WebDriverWait(browser, 3).until(
EC.presence_of_all_elements_located((By.TAG_NAME, 'dd'))
)
logger.info("ddタグリスト作成")
# 現在のページにある価格を全てリスト化する。
all_ddtag_list = [dd_tag.text for dd_tag in all_ddtags]
lambda_price = all_ddtag_list[0]
logger.info(f"{lambda_price}")
# h2タグを見つける
# 見つけるまで最大6秒、動的待機
all_titles = WebDriverWait(browser, 6).until(
EC.presence_of_all_elements_located((By.TAG_NAME, 'h2'))
)
logger.info("h2タグリスト作成")
# 商品カタログ名
all_title_list = [title.text for title in all_titles]
lambda_product_name = all_title_list[0]
logger.info(f"{lambda_product_name}")
# jsonオブジェクトの作成
response_data = {
"lambda_product_name": lambda_product_name,
"lambda_price": lambda_price
}
else:
logger.error("リクエストボディがありません。")
# WebDriverを閉じる
browser.quit()
# jsonデータをレスポンスとして返す
return {
'statusCode': 200,
'headers': {
'Content-Type': 'application/json',
},
'body': response_data
}
コードの押さえどころ
chromedriverのパスの指定
browser = webdriver.Chrome(
# Chromeを操作できるようにするためのdriverをAWSにあるパスを選定
executable_path="/opt/headless/chromedriver",
options=options
)
AWS上でのパスの指定は少し特殊。
executable_path="/opt/headless/chromedriver"
** Lambdaレイヤー**に存在してるものを選定してる。
リクエストボディを取得
request_body = event.get('local_jan_code')
jsonにて送られてきたデータの'local_jan_code’の値を取得してる
ページが完全にロードされるのを確認する
WebDriverWait(browser, 3).until(
lambda browser: browser.execute_script('return document.readyState') == 'complete'
)
logger.info("ページが完全にロードされました。")
サイトの画面が表示されてるのか（DOMなどの解析状況）を3秒待つというコード。
"loading”読み込み中
"interactive”読み込み途中
"complete”読み込み完了
この３つのよって状態を確認することができる。
json型式でレスポンスをする
return {
'statusCode': 200,
'headers': {
'Content-Type': 'application/json',
},
'body': response_data
}
これはレスポンスをする相手に
statusCode': 200
bodyにJSON型式のデータを送る
これらをレスポンスする
AWS Lambda関数作成 セクション リンク