クロスドメイン制限
- ドメインが異なるサイトをJSからスクレイピング(xhrで取るとか）は制限される。
- 取得先のコンテンツがレスポンスヘッダーで
Access-Control-Allow-Origin(ACAO)を返し、かつ実行JSがホストされているドメインがこのACAOリストに該当していればOK。 -
jquery.xdomainajax.jsを使うとクロスドメインできるが、インターネット上で公開されているサイトに限られる（イントラ限定コンテンツなどはNG）。内部でYahoo Query Languageを呼び出してそのレスポンスとして対象ページのコンテンツを取得している。Yahoo! Query Language - YDN
Related Articles
- [jQueryで仕事効率化（スクレイピング）] by シロのITメモ
- Javascriptスクレイピング！jquery.xdomainajax.js-ITかあさん
- PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
- casperJSでwebスクレイピング | THE SPORTS BUSINESS