HTMLのパーサで、変化の激しいW3Cの世界で、互換性や新機能に追従していくのは難しそう。
そこで、いっそのこと実際のブラウザのパーサ機能だけは使えないか？つまり、ヘッドレスブラウザならどうか、JSを動かす必要は無くて、HTMLのパーサ機能だけ欲しい。

ということで、ヘッドレスブラウザのレンダリング機能を扱えるアプローチを探るため、SeleniumやWebDriver系でどう扱えそうかかるくググったメモです。

Linux環境で使えそうなOSSのレンダリングエンジンの実装で、一番追従が激しいのは、Chromeか。
- http://www.chromium.org/blink
c++ - How to use Google Blink/Webkit to render HTML code - Stack Overflow
- http://stackoverflow.com/questions/22775753/how-to-use-google-blink-webkit-to-render-html-code
Any way to start Google Chrome in headless mode? - Stack Overflow
- http://stackoverflow.com/questions/9210765/any-way-to-start-google-chrome-in-headless-mode
webkit - Headless browser automation using blink - Stack Overflow
- http://stackoverflow.com/questions/32429626/headless-browser-automation-using-blink

Chrome用 + Chrome自身の開発速度が速いこともあり、簡単にパース機能「だけ」使える状況では無さそう。

PhantomJS + WebDriverのアプローチはどうか？軽くググッてみる。xpathで要素取り出せたりとかができれば便利だろう。

PhantomJSと各ブラウザのJavascriptエンジンまとめ | tsuchikazu blog
- http://tsuchikazu.net/phantomjs-browser-javascript-engine/
Selenium 使いのための PhantomJS 解説 - Qiita
- http://qiita.com/okitan/items/00b677df1a941a1e0ba0
php - how do i disable javascript while running headless selenium server and using firefox? - Stack Overflow
- http://stackoverflow.com/questions/17570076/how-do-i-disable-javascript-while-running-headless-selenium-server-and-using-fir
Disabling Javascript · Issue #253 · detro/ghostdriver · GitHub
- https://github.com/detro/ghostdriver/issues/253
selenium - Why is not possible to disable JavaScript in GhostDriver / PhantomJSDriver? - Stack Overflow
- http://stackoverflow.com/questions/27785320/why-is-not-possible-to-disable-javascript-in-ghostdriver-phantomjsdriver
Disable JavaScript using Selenium WebDriver - Yi Zeng
- http://yizeng.me/2014/01/08/disable-javascript-using-selenium-webdriver/
python - How to disable JavaScript in PhantomJS through Selenium WebDriver - Stack Overflow
- http://stackoverflow.com/questions/32115673/how-to-disable-javascript-in-phantomjs-through-selenium-webdriver

結論 : PhantomJSのWebDriverは、結局内部的にJSが動く。そのため、JSをdisabledにしたらODM要素の取り出しなど全部動かなくなるので今回の観点からはナンセンス。

どうも、HtmlUnitをWebDriverでラップしたHtmlUnitDriverが最速らしい。これならJSも動かさずにいけるかも？

HtmlUnitDriverを使ってHTMLスクレイピング in Scala - Qiita
- http://qiita.com/rkaneko/items/96588cf31b1ce3d41c79
HtmlUnit – Welcome to HtmlUnit
- http://htmlunit.sourceforge.net/
HtmlUnit賛歌 - uehaj's blog
- http://uehaj.hatenablog.com/entry/20101011/1286807271
HtmlUnit vs JSoup: html parsing in Java | Krishna's Blog
- http://krishnasblog.com/2012/12/19/htmlunit-vs-jsoup/
- HTMLパーサであるJSoupとの比較記事。

とりあえずメモなので結論は出せません。ただ、以前IEのconditional comments で躓いたことがありますが、JSoupの方はissueがopenなまま ( https://github.com/jhy/jsoup/issues/360 ) で、HtmlUnit の方も多少対応はされてるようですがどこまで耐えられるのかちょっと心配です。