100日後にエンジニアになるキミ - 74日目 - プログラミング - スクレイピングについて5 #Python

昨日までのはこちら

今回もスクレイピングの続きです。

あらかたスクレイピングの原理は前回までで終わっていますので
今日はSeleniumのお話です。

Seleniumについて

SeleniumはWEBブラウザの操作を自動化するためのフレームワークソフトウェアです。

Seleniumを使うことで、Pythonrequestsライブラリ単体で行う
スクレイピングでは取得できない情報も取得できるようになります。

では取得できない情報とは何でしょうか？

通常のrequestsライブラリではgetメソッドなどで取得できる情報はHTMLのソースになります。

その要素の一部がJavascriptでレンダリングするように書かれている場合
Javascriptが働かないとデータとして反映されません。

そのためJavascriptでで動的に生成される要素はrequestsライブラリでは
取得することはできません。

SeleniumはWEBブラウザを動かしてデータを取得しに行くため、通常のブラウザでアクセスするのと何ら変わりません。Javascriptも働きレンダリングされたデータを取得できます。

Seleniumを動かすのに必要なもの

PCなどでSeleniumを動かすのに必要なのは以下の3つです。

WEBブラウザ
Chrome, Firefox, Opera など

WebDriver
ブラウザを操作するためのソフトウェア

Selenium
WebDriverと連携してプログラムからブラウザを操作するライブラリ

各種ツールのインストール

インストール方法は以下のようになります。

WEBブラウザのインストール
各種ブラウザのダウンロードサイトからダウンロードしてインストールを行う

Google Chrome

Firefox

Opera

WebDriverのダウンロード
WebDriverはインストールは必要なく、ダウンロードして配置するだけで動作します。
ダウンロード後はプログラムから見て近いディレクトリなどに配置しておきます。

ドライバーはブラウザのバージョンアップとともに変更されるので、都度バージョンに合わせてダウンロードを行います。

Google Chrome

Firefox

Opera

Seleniumのインストール
Pythonでのインストール方法は下記です。

pip install selenium

Seleniumを動かす

Seleniumを動かすまでの手順としては

1.ブラウザのインストール
2.WebDriverのダウンロードと配置
3.Seleniumのインストール
です。

ここではSeleniumからGoogle Chromeを操作してみましょう。

from selenium import webdriver

# ドライバー設定
chromedriver = "ドライバーのフルパス"
driver = webdriver.Chrome(executable_path=chromedriver)

driver.get('アクセス先のURL')

これを実行するとブラウザが立ち上がります。

立ち上げるブラウザがGoogle Chromeなのでwebdriver.Chromeを使っています。
ブラウザによって対応するメソッドが変わります。
Firefox:webdriver.Firefox
Opera:webdriver.Opera

executable_pathにはWebDriverのパスを書くのですが
フルパス(絶対パス)でないと認識しないようです。浅目の階層にwebdriverを置いておきましょう。

ここまででSeleniumを使ってブラウザを起動できたのではないでしょうか?

次回はここからブラウザの操作方法に入ります。

まとめ

seleniumを使うと通常のスクレピング手法では
取得できない情報も簡単に取得できるようになるので便利です。

データが取得できなくて困っている方はseleniumを試してみましょう。

君がエンジニアになるまであと26日

作者の情報

乙pyのHP：
http://www.otupy.net/

Youtube：
https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter：
https://twitter.com/otupython