Selenium を使ってPython で WEBスクレイピングしてみる

1. 環境

内容	バージョン
OS	Windows 10 Pro (64bit)
Chrome	92.0.4515.159
ChromeDriver	92.0.4515.107
Python	3.9.0
selenium	3.141.0

Visual Studio Code

アイテム	バージョン
バージョン	1.59.1 (user setup)
コミット	3866c3553be8b268c8a7f8c0482c0c0177aa8bfa
日付	2021-08-19T11:56:46.957Z
Electron	13.1.7
Chrome	91.0.4472.124
Node.js	14.16.0
V8	9.1.269.36-electron.0
OS	Windows_NT x64 10.0.19042
Python	3.9.0 64bit

2. 初期設定

Seleniumは、PythonのコードからWEBブラウザを操作する。
操作するためには、WebDriverが必要。

2-1. インストール

2-1-1. Selenium インストール

pip install selenium

2-1-2. ChromeDriver のインストール

一度、以下のコマンドでインストールしましたが、
pip install chromedriver-binary
Chrome と Chromedriver のバージョンが一致しない問題で動かなかったので、

Chrome のバージョンチェック > 92.0.4515.159
Chrome Driver のサイトで Chrome と近いバージョンのものをダウンロード > ChromeDriver 92.0.4515.107
Zip を解凍、中身の chromedriver.exe をプログラムのあるディレクトリに置いてダブルクリック。

以上でバージョンを揃えて動かすことが可能に。

以下参考サイト。

3. サンプルコードから内容について確認

sample.py

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

#Chromeを操作
driver = webdriver.Chrome()
driver.get('https://www.google.com/')
time.sleep(5)
search_box = driver.find_element_by_name("q")
search_box.send_keys('ChromeDriver')
search_box.submit()
time.sleep(5)
driver.quit()

以下、内容について。

from selenium.webdriver.common.keys import Keys

Keys クラスで、RETURN、F1、ALTなどのキーボードのキーを提供

driver = webdriver.Chrome()

Chrome WebDriver のインスタンスを作成。

Chrome が立ち上がる。

driver.get('https://www.google.com/')

driver.get メソッドは、URLによって指定されたページに移動。

WebDriverは、テストまたはスクリプトが実行する前に、ページが完全にロードされる（つまり、「onload」イベントが発生する）まで待機。

※ページがロード時にたくさんのAJAXを使用すると、WebDriverは完全にロードされたかどうかわからないということに注意する必要あり。

search_box = driver.find_element_by_name("q")

WebDriverでは、find_element_by_* メソッドのひとつを使って要素を見つけることができる。

今回の入力テキスト要素は、find_element_by_name メソッドを使用して name 属性で検索。

コード	機能
by_id(id)	id属性がidである要素
by_class_name(name)	クラス名がnameの要素
by_name(name)	タグ内のname属性が一致する要素
by_tag_name(name)	タグ名が一致する要素
by_link_text(text)	テキストに完全一致する要素
by_partial_link_text(text)	テキストに部分一致する要素
by_xpath(path)	xpathが一致する要素

search_box.send_keys('ChromeDriver')

キーを送信。これはキーボードを使用してキーを入力するのと同じ。

特殊キーは、 selenium.webdriver.common.keys からインポートした Keys クラスを使用して送信。

安全のため、あらかじめ入力フィールド（例：「検索」）に入力したテキストをクリアする。

そうすれば、検索結果には影響を及ぼさない。

今回で言えば、ChromeDriver という文字列でGoogle検索開始。

search_box.submit()

~~なくても動きました。~~
~~よくわかりませんでしたが、フォームを送信するときに利用する？~~
→ これがないと、記入内容を送信してくれないとのことでした。
　たまたま動いただけだったようです。(2021/09/04追記)

driver.quit()

すべてのウィンドウを閉じる。

4. 要素の取得の仕方

Chrome の場合、Ctrl + Shift + I
検証コンソール左上の選択矢印クリック
知りたい要素クリック

参考にさせて頂いたサイト