ppapppap
@ppapppap (python id)

Are you sure you want to delete the question?

Leaving a resolved question undeleted may help others!

pythonでのweb操作について

解決したいこと

プログラム初心者です。
pythonを使いスプレイピング、データ分析を行っています。

seleniumでbet365というスポーツベットサイトを自動操作しようとしました。
ところが、数回アクセスできるが、その後ページを開く事ができなくなります。
(エラーは出ないが、永遠に待ちという状態。)

当サイトはスプレイピングが禁止されているという情報がありますが、自動操作も同じ様に禁止されているという事なのでしょうか?
もし禁止されておらず、他の方法を知っている方が居れば教えていただけますでしょうか。
よろしくお願い致します。

環境

mac python 3
browser :Chrome,FireFox

自分で試したこと

・ChomeとFireFoxで試したが同じ。
・brower起動時、optionでプロファイルを設定して自分のアカウントで操作するもダメ。
・似たサイトであるsportsbetで試しても、左下に「アクセスが拒否されました。」とエラーメッセージが表示される。

0

1Answer

たまにpythonのrequestやseleniumを使用してスクレイピングしています。
webサイトの中にはスクレイピングを嫌うサイトもあります。
私が経験したサイトでは、一定時間内に規定回数以上同一IPでアクセスがあると「too many access」と表示されるサイト、ロボットじゃないかの確認のCAPTCHAが出てくるサイト、数回のアクセスで「アクセス拒否」となるようなサイトなどがありました。
このサイトもおそらくそのようなサイトだと思います。

そして対処法として、短時間にたくさんのアクセスをしないようにsleepを挟むなどがあります。しかしうまくいくかはわかりません。

ちなみにスクレイピングでは1秒1アクセスという暗黙の了解(下手すると捕まる)があります。

スクレイピングを嫌うサイトではそれよりも少ないアクセスにすることをお勧めします。

0Like

Comments

  1. @ppapppap

    Questioner

    yuki_2020様
    丁寧にご回答いただきありがとうございます。
    このサイトでは厳しそうですね。。。

Your answer might help someone💌