調査メモ/Selenium, PhantomJS などWebDriver経由でのスクレイピングについてググった(2015-10-08時点)

HTMLのパーサで、変化の激しいW3Cの世界で、互換性や新機能に追従していくのは難しそう。
そこで、いっそのこと実際のブラウザのパーサ機能だけは使えないか？つまり、ヘッドレスブラウザならどうか、JSを動かす必要は無くて、HTMLのパーサ機能だけ欲しい。

ということで、ヘッドレスブラウザのレンダリング機能を扱えるアプローチを探るため、SeleniumやWebDriver系でどう扱えそうかかるくググったメモです。

• Linux環境で使えそうなOSSのレンダリングエンジンの実装で、一番追従が激しいのは、Chromeか。
  • http://www.chromium.org/blink
• c++ - How to use Google Blink/Webkit to render HTML code - Stack Overflow
  • http://stackoverflow.com/questions/22775753/how-to-use-google-blink-webkit-to-render-html-code
• Any way to start Google Chrome in headless mode? - Stack Overflow
  • http://stackoverflow.com/questions/9210765/any-way-to-start-google-chrome-in-headless-mode
• webkit - Headless browser automation using blink - Stack Overflow
  • http://stackoverflow.com/questions/32429626/headless-browser-automation-using-blink

Chrome用 + Chrome自身の開発速度が速いこともあり、簡単にパース機能「だけ」使える状況では無さそう。

PhantomJS + WebDriverのアプローチはどうか？軽くググッてみる。xpathで要素取り出せたりとかができれば便利だろう。

• PhantomJSと各ブラウザのJavascriptエンジンまとめ | tsuchikazu blog
  • http://tsuchikazu.net/phantomjs-browser-javascript-engine/
• Selenium 使いのための PhantomJS 解説 - Qiita
  • http://qiita.com/okitan/items/00b677df1a941a1e0ba0
• php - how do i disable javascript while running headless selenium server and using firefox? - Stack Overflow
  • http://stackoverflow.com/questions/17570076/how-do-i-disable-javascript-while-running-headless-selenium-server-and-using-fir
• Disabling Javascript · Issue #253 · detro/ghostdriver · GitHub
  • https://github.com/detro/ghostdriver/issues/253
• selenium - Why is not possible to disable JavaScript in GhostDriver / PhantomJSDriver? - Stack Overflow
  • http://stackoverflow.com/questions/27785320/why-is-not-possible-to-disable-javascript-in-ghostdriver-phantomjsdriver
• Disable JavaScript using Selenium WebDriver - Yi Zeng
  • http://yizeng.me/2014/01/08/disable-javascript-using-selenium-webdriver/
• python - How to disable JavaScript in PhantomJS through Selenium WebDriver - Stack Overflow
  • http://stackoverflow.com/questions/32115673/how-to-disable-javascript-in-phantomjs-through-selenium-webdriver

結論 : PhantomJSのWebDriverは、結局内部的にJSが動く。そのため、JSをdisabledにしたらODM要素の取り出しなど全部動かなくなるので今回の観点からはナンセンス。

どうも、HtmlUnitをWebDriverでラップしたHtmlUnitDriverが最速らしい。これならJSも動かさずにいけるかも？

• HtmlUnitDriverを使ってHTMLスクレイピング in Scala - Qiita
  • http://qiita.com/rkaneko/items/96588cf31b1ce3d41c79
• HtmlUnit – Welcome to HtmlUnit
  • http://htmlunit.sourceforge.net/
• HtmlUnit賛歌 - uehaj's blog
  • http://uehaj.hatenablog.com/entry/20101011/1286807271
• HtmlUnit vs JSoup: html parsing in Java | Krishna's Blog
  • http://krishnasblog.com/2012/12/19/htmlunit-vs-jsoup/
  • HTMLパーサであるJSoupとの比較記事。

とりあえずメモなので結論は出せません。ただ、以前IEのconditional comments で躓いたことがありますが、JSoupの方はissueがopenなまま ( https://github.com/jhy/jsoup/issues/360 ) で、HtmlUnit の方も多少対応はされてるようですがどこまで耐えられるのかちょっと心配です。