Webサイト情報を取得する際によくSeleniumを使用するため、
よく使うものをまとめました。
個人的よく使う場面は、ログインが必要なものです。
Seleniumのインポート
基本的にSeleniumを使用する際は、以下をインポートしてます。
ChromeDriverManagerを入れることでChromeがアップデートされてもバイナリファイルをダウンロードしなくてよくなるので、入れてます。
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.common.by import By
上記については最新のSeleniumを使用する場合は必要になります。
よく使うもの
ブラウザ起動
以下でChromeブラウザを起動します。
この時、browserに格納されているものが現在ブラウザで表示されているものになります。
browser = webdriver.Chrome(ChromeDriverManager().install())
URLにアクセス
以下で引数のurlにアクセスします。
browser.get(url)
browser.implicitly_wait(3)
要素取得
スクレピングをする際はここは多用するかと思います。
一つの要素を取得したい場合
複数の要素をリスト型で取得したい場合
同じclass名の文字を取得したい場合は、find_elementsで取得して
for文で1つずつ取り出します。
a_tag_ele = broser.find_elements(By.TAG_NAME, "a")
for a_tag in a_tag_ele:
print(a_tag.text)
アウトプット何にするか悩んでいるプログラミング初学者の方はスクレピングは、
よく使うサイトの情報を取得するスクリプトを作成するのが、
簡単で良いと思いますので、ぜひやってみてください!
また、Seleniumの細かいコマンドは以下サイトを参照ください
Seleniumクイックリファレンス