selenium 備忘録

スクレイピングでjavascriptが絡むデータが必要になり、beautifulsoupではできない場合にはseleniumを使う必要がある。

その際のseleniumの使い方。

まず事前にドライバーをダウンロードする必要がある。

コード

#seleniumのimport
from selenium import webdriver
#elementの指定で使う
from selenium.webdriver.common.by import By

#サイトのURL
URL = ""
#ドライバーのパス
PATH = ""

driver = webdriver.Chrome(PATH)
#サイトを開く
driver.get(URL)

getを呼び出すとブラウザが立ち上がる。

elementの取得方法

#クラス名で取得
posts = driver.find_elements_by_class_name("post")
for i in range(len(posts)):
    #この方法でもクラス名からelementを取得できる
    meta = posts[i].find_element(By.CLASS_NAME, value="meta")