[Selenium(python)]Edgeでスクレイピングする時のテンプレートmemo

環境

Python 3.10.11

selenium==4.4.3
webdriver-manager==4.0.1

2023年11月30日時点

コード

main.py

from selenium import webdriver
from webdriver_manager.microsoft import EdgeChromiumDriverManager
from selenium.webdriver.edge.service import Service

# Options
options = webdriver.EdgeOptions()
options.add_argument('--disable-extensions')
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--enable-chrome-browser-cloud-management')

# driver
service = Service(executable_path=EdgeChromiumDriverManager().install())
driver = webdriver.Edge(service=service, options=options)

# 終了
driver.quit()

説明

1. エラー対策

• Serviceと--enable-chrome-browser-cloud-managementは使わないとエラー吐くので使っています。

2. Options

• いろいろ無効にしているのは、AWSなどで使う時にメモリの消費量増えちゃうからです。
• heroku使ってた時、無効にしないとout of memoryになった経験から癖づいてます。

3. ドライバーのパス

• ドライバーはローカルにダウンロードしない派なので、EdgeChromiumDriverManager().install()を使っています。

情報もとむ

これ以上に推奨される書き方あれば教えてほしいです誰か！

selenium 4 使うときによく見るサイト