requestでスクレイピングが出来ない
Discussion
Pythonでスクレイピングについて質問です。
requestsを使ってスクレイピングをしたいのですが、ユーザーの操作(クリックなど)をしないとデータが取得できないサイトがあります。 例えば、Googleで画像検索をした際に、大きい画像を表示するにはクリックが必要で、単にrequestsでは取得できません。
一方で、seleniumを使えば動作を再現できるのですが、広告が多いサイトだと正常にスクレイピングできない場合があります。
0 likes