はじめに
ブラウザの開発ツールから確認するかぎりでは、ソースコードが確認できるwebページ。
しかし、いざpythonのrequests.get()でページのソースコードを取得しようとしてもソースコードを得られない場合があります。
本記事では、このような場合の対処法のひとつを示します。
解決策
requests.get()の引数headersにUser-Agentを指定する
import requests
url = "" # webページのurl
response = requests.get(url, headers={"User-Agent": ""})
User-Agentの指定の仕方の一例はこちら。
自分の場合は、User-Agentに空文字列""を指定しても解決しました。
User-Agentとは
webサイトを閲覧するためのブラウザ情報やOS情報。
これを指定することで、ブラウザの開発ツールで確認されるようなソースコードを返します。
まとめ
本記事では、ブラウザの開発ツールで確認できるソースコードが、requests.get()で取得できない場合の対処法について書きました。
他の対処法でseleniumを使う方法がありますが、また別の記事で書きたいと思います。