Selenium でスクレイピング [Python]

PythonにてSeleniumを用い、スクレイピングを行う。

0. 環境

MacOSX10.11.1

CentOSの場合

Xvfb その他諸々が必要
参考: CentOS6.4 + Selenium の環境作成

1. pipでSeleniumをインストール

$ sudo pip install selenium

CentOSの場合

別途、ライブラリのインストールが必要。

$ sudo pip install pyvirtualdisplay

2. 実行

2.1. Seleniumをインポート

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

# pyvirtualdisplayを用いる場合
from pyvirtualdisplay import Display
display = Display(visible=0, size=(1024, 768))
display.start()

2.2. ブラウザ(FireFox)を開く

driver = webdriver.Firefox()

後からLinux（CentOS）でスクリプトを回す際に、
FireFoxの方が便利（楽）なのでFireFoxを使う。

2.3. URLを開く

url = "http://google.com"
driver.get(url)

2.4. ブラウザを閉じる

driver.close()

# pyvirtualdisplayを用いる場合
display.stop()