動的なWEBページをスクレイピングしたいときに超便利なライブラリRequests-HTML

JavaScriptを実行しないとスクレイピングできないWEBページでもHeadlessChromeとseleniumを用意する必要はありません

またrequests-htmlはデフォルトでuser-agentにブラウザの情報を設定してくれます

今回はその確認です

In [1]: import requests

In [2]: from requests_html import HTMLSession

In [3]: session = HTMLSession()

In [4]: session.get('http://httpbin.org/user-agent').text
Out[4]: '{\n  "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/603.3.8 (KHTML, like Gecko) Version/10.1.2 Safari/603.3.8"\n}\n'

In [5]: requests.get('http://httpbin.org/user-agent').text
Out[5]: '{\n  "user-agent": "python-requests/2.18.4"\n}\n'

safariが設定されているみたいですね。ちなみに実行環境はwindows10です。