@exchange100000

Are you sure you want to delete the question?

If your question is resolved, you may close it.

Leaving a resolved question undeleted may help others!

We hope you find it useful!

requestでスクレイピングが出来ない

Discussion

Pythonでスクレイピングについて質問です。

requestsを使ってスクレイピングをしたいのですが、ユーザーの操作(クリックなど)をしないとデータが取得できないサイトがあります。 例えば、Googleで画像検索をした際に、大きい画像を表示するにはクリックが必要で、単にrequestsでは取得できません。

一方で、seleniumを使えば動作を再現できるのですが、広告が多いサイトだと正常にスクレイピングできない場合があります。

このような場合、requestsだけでデータを取得する方法はあるのでしょうか?IMG_5835.png

0 likes

ユーザーの操作(クリックなど)をしないとデータが取得できないサイトがあります。

本当にクリックなどが必要なのであればselenium等を使用する必要があるかと思います。

例えば、Googleで画像検索をした際に、大きい画像を表示するにはクリックが必要で、単にrequestsでは取得できません。

Googleの利用規約(サービスの不正使用の禁止)に下記記述があります。

Google のウェブページの機械可読な指示(クロール、トレーニングなどのアクティビティを禁止する robots.txt ファイルなど)に違反する、Google のいずれかのサービスのコンテンツにアクセスすることを目的とした自動化された手段の使用

違反しないように注意されることをおすすめします。
また各画像の著作権にも注意が必要です。

0Like

Your answer might help someone💌