はじめに
どうも。最近Selenium 4.1.3（Python 3.9.7）をよく使っていたので、そのときに気づいたことなどをまとめました。
注意事項
スクレイピングしている方ならご存知だと思いますが、念のため置いておきます。
岡崎市立中央図書館事件
ドライバーはwebdriver_managerを使用する
バージョンが変わるごとにドライバーを入れ替えるのは大変ですよね。
そこで役立つのが、このwebdriver_managerです。
pip install webdriver_manager
Chromeのドライバーを入れたい場合、このように記述します。
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install(), options=options)
非常に便利です。
class化したほうが使い勝手がよい
classにしたほうが圧倒的に使いやすい。オブジェクト指向に基づいて考えると当たり前ですが。
以下が私がよく使用しているclassです。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.common.exceptions import *
import time
import os
from datetime import datetime
from logging import getLogger, Formatter, FileHandler, StreamHandler, INFO, DEBUG
class Driver_Format():
"""
Driver Format
"""
def __init__(self, headless:bool=False, class_name:str=__name__) -> None:
if not os.path.exists('log'):
os.makedirs('log')
self.logger = getLogger(class_name)
self.logger.setLevel(INFO)
self.file_name = './log/log_' + datetime.now().strftime('%Y%m%d_%H%M%S')
self.fh = FileHandler(self.file_name+'.log')
self.fh.setLevel(INFO)
fh_formatter = Formatter('%(asctime)s - %(levelname)s - %(name)s - %(funcName)s - %(message)s')
self.fh.setFormatter(fh_formatter)
self.ch = StreamHandler()
self.ch.setLevel(INFO)
ch_formatter = Formatter('%(asctime)s - %(levelname)s - %(name)s - %(funcName)s - %(message)s')
self.ch.setFormatter(ch_formatter)
self.logger.addHandler(self.fh)
self.logger.addHandler(self.ch)
self.logger.info('Initialization Logger')
self.Initialization_Driver(headless)
def Initialization_Driver(self, headless:bool=False):
options = Options()
options.add_argument("--window-size=1920,1080")
if headless:
options.add_argument('--headless')
self.driver = webdriver.Chrome(ChromeDriverManager().install(), options=options, service_log_path=self.file_name+'_driver.log')
self.driver.implicitly_wait(10)
def close_driver(self, removeHandler_tf = True):
if removeHandler_tf:
self.logger.removeHandler(self.fh)
self.logger.removeHandler(self.ch)
self.driver.quit()
def wait_and_get_element(self, tag, path:str):
"""
Wait and return element from any tags
"""
for _ in range(10):
try:
WebDriverWait(self.driver, 10).until(
EC.visibility_of_element_located((tag, path))
)
return self.driver.find_element(tag, path)
except:
self.driver.refresh()
else:
st = 'Time OUT : ' + path
raise Exception(st)
def wait_and_click(self, tag, path:str):
for _ in range(10):
try:
WebDriverWait(self.driver, 10).until(
EC.element_to_be_clickable((tag, path))
)
element = self.wait_and_get_element(tag, path)
ActionChains(self.driver).move_to_element(element).perform()
element.click()
break
except ElementClickInterceptedException:
time.sleep(1)
except StaleElementReferenceException:
time.sleep(1)
except TimeoutException:
time.sleep(1)
else:
st = 'Time OUT : ' + path
raise Exception(st)
スクレイピングをしていると、やはりログが必要であることが大半（個人的感想）なのでこのようにログを混ぜて定義すると、非常に使いやすいです。
要素の選択にはWebDriverWaitを使うべき
スクレイピングが速すぎると要素を取得できず、よくエラーが発生します。time.sleep()を使用してやっていたとしても、ページのロードに時間が掛かると結局はエラーが発生します。そこで、このWebDriverWaitを使用することでわざわざtime.sleep()を使用しなくても待ってくれます。
以下のように使用します。
# 要素が見つかるまで待つ
WebDriverWait(self.driver, 待機時間).until(EC.visibility_of_element_located((tag, path)))
# クリックできるようになるまで待つ
WebDriverWait(self.driver, 待機時間).until(EC.element_to_be_clickable((tag, path)))
# フレームが使用可能になるまで待機し、移動する
WebDriverWait(self.driver, 待機時間).until(EC.frame_to_be_available_and_switch_to_it((tag, path)))
他にもありますが、私が最近使用したのはこの３つです。これで大体のことは可能かと思われます。
フレーム移動に関する注意事項ですが、私がスクレイピングしていたページの問題かもしれませんが、EC.frame_to_be_available_and_switch_to_itを使用した後、すぐにframe内の要素を取得しようとする（WebDriverWaitを使用）とselenium.common.exceptions.NoSuchWindowExceptionというエラーが発生しました。結局原因は分からず、time.sleep(1)を使用することでなんとか解消しました。
frame内にいるときにrefreshを行うともとに戻る
ただの豆知識程度ですが、iframe内などにいるときにdriver.refresh()を行うと一番外側のframeに戻されます。
Google Chromeのユーザーデータ（履歴、ブックマーク、パスワード等）を使用する方法
optionsでユーザーデータのフォルダやProfileを指定することで、ログイン情報などを引き継いで使用することが出来ます。
次のように設定します。
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--user-data-dir=E:\python\Google_Chrome\locals') # Profileが格納されているフォルダの指定
options.add_argument('--profile-directory=Profile1') # Profileの指定
注意事項として、--user-data-dir=はフルパスで指定する必要があります。（相対パスではエラーが発生する）
Windowsでしか確認が取れていませんが、--user-data-dir=や--profile-directory=で指定したフォルダが存在しない場合、自動でフォルダが作成されます。
自分が使用しているユーザーデータを使用することも可能ですが、同時に使用するとエラーが発生するためそこは注意しましょう。
最後に
最後まで読んでいただきありがとうございます。
何かご指摘や質問などありましたら、コメントをよろしくお願いいたします。
それでは失礼いたします。