経緯

beautifulsoup4

pythonのhtmlスクレイピング用ライブラリ
単体ではjsで書かれている動的な部分は触れない

webブラウザ上でのテストによく使われているツール
今回はPhantomJSの制御に使用

ヘッドレスブラウザ
Chromeやfirefoxなど、GUIのブラウザのCUI版
いちいちブラウザを立ち上げずにスクレイピングできる
JSで書かれたコードもレンダリングできる

$ pip install --upgrade beautifulsoup4

$ pip install --upgrade selenium

公式ページからダウンロードしたファイルにpathを通す

# ダウンロードしてきたディレクトリに移動
# 以下の場合は、Downloadフォルダにある例です
cd ~/Downloads/phantomjs-2.1.1-macosx/

# /usr/local/bin にコピー
cp bin/phantomjs /usr/local/bin/

コード→https://github.com/daaaisuke/scraping(scraping2.py)
sampleではyahooの画像検索で実行

手順

うまくいけば、ログが吐かれ続けた後、指定されたディレクトリに画像がたくさん入っているはず！