2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

PythonのSeleniumによるスクレイピング備忘録

Last updated at Posted at 2024-12-07

ブラウザはChrome、OSはWindows、Pythonのバージョンは3.13.0です。ipynbファイルで実行します。

事前準備

まず、WebDriverをダウンロードします。
https://googlechromelabs.github.io/chrome-for-testing/

サイト内のリンクをコピペし、WebDriverをダウンロードします。
スクリーンショット 2024-12-07 234319.png

zipファイルを解凍するとclomedriver.exeがあるので、それを作業ディレクトリに配置し、pipコマンドでSeleniumをインストールすれば準備OKです。

主要な操作

from selenium import webdriver

こちらでSeleniumをインポートしているものとします。


ブラウザの立ち上げ

browser = webdriver.Chrome()

ブラウザを閉じる

browser.quit()

URLを指定

browser.get("https://qiita.com/")

HTML要素を取得

from selenium.webdriver.common.by import By

elem = browser.find_element(By.CLASS_NAME, "style-1gmi769")

By.IDやBy.NAME、By.TAG_NAMEなども可能。取得するタグがタグを包含している場合、find_elementsを用いる。


inputタグなどに値を送信

elem.send_keys("Python")

↓実行結果
スクリーンショット 2024-12-08 005145.png


キーを押す

from selenium.webdriver.common.keys import Keys

elem.send_keys(Keys.ENTER)

↓実行結果
スクリーンショット 2024-12-08 005941.png

Keys.TAB、Keys.SPACEなども可能。


button要素をクリック

elem2 = browser.find_element(By.CLASS_NAME, "style-g8id1y") # button要素を取得
elem2.click()

要素をstr型で取得

elem3 = browser.find_elements(By.CLASS_NAME, "style-1eiv6gj") # 検索結果に表示された記事たち
elem3[0].text # 一番上の記事

↓出力

'[Python] Python(パイソン)とは?'


2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?