WEBスクレイピングの勉強を久々に再開。
目次
1.HTTPリクエストとは
そもそもHTTPリクエストって何かわからなかったのでこちらのサイトを参考にしました。
簡単にいうとWEBブラウザからWEBサーバーに情報をリクエストするときのやりとりを『HTTP』といい、リクエストを送ることを『HTTPリクエスト』と呼ぶようです。
そしてそのHTTPリクエストの構成が、
リクエストライン→ヘッダー→メッセージボディ
という三層構造になっていて、その『ヘッダー』の中に含まれているのが
User-Agentになっています。
2.User-Agentとは
では『User-Agent』とは何者なのでしょうか？
User-AgentとはWEBブラウザにこの機械からアクセスしていますよーという情報です。
iPhoneでアクセスしてるよーとかMacbookでアクセスしてるよーとかそういった情報を文字化（？）したものっぽいです。
3.Requests
HTTP通信用のPythonのライブラリでHTMLファイルやXMLファイルなどからデータを取得する際に必要です。