Webスクレイピングにおける「サーバーへの負荷」はどのような基準か？

こんにちは。主にサーバー管理の方をやっている者です。

まず前提として、どの程度のインターバルを入れれば「過度な負担」にならないかという業界的・法的な共通認識はありません（と認識しています）。Qiitaを例にすれば、トップページへのアクセスとフリーワードでの検索ではサーバーやDBにかかる負荷がまるで違うわけで、どちらも10msで返ってくるけれども後者ではDBのCPU使用率が跳ね上がっている、といった状況は考えられます。ですから、それが「過度な負担」にあたるかどうかは中の人しか分からないというのが厳密な回答になるでしょう。

個人的には、世界に向けて公開しているサービスに様々なクローラーがやってくることは当然のことで、たかだか数回/秒程度のアクセスで落ちるならそれはアプリが悪いでしょ、と思っています。百度(Baidu)のクローラーが一時期100回/秒以上のアクセス攻勢をかけてきた¹ことはまだ記憶に新しいですが、良し悪しは別としてインターネットとは元来そういうものです。
※ご存知かもしれませんが、Librahack事件ではアプリの出来があまりにも稚拙²だったことがサービスが落ちる原因となりました。あんなことで逮捕された人が気の毒すぎる。

とはいえサービス事業者の立場からしますと、1回/秒だろうが0.1回/秒だろうが「お前のアクセスのおかげでうちのサービスに影響が出るなんて許せん、告訴だ告訴」といった話にもなりかねません。このあたりの兼ね合いとして、

• 最大でも1回/秒あたりを上限にしておく
• GETであっても、検索をしているっぽい処理は控えめにする
• レスポンスタイムを監視しておく。明らかに延びてきたら止める
• 利用規約はよく読む
• （できれば）HTTPヘッダに連絡先を書いておく
• （できれば）Cookieをちゃんと扱って無駄なセッションをいっぱい発行させないようにする

といったことを心がけていただけると非常にありがたいですし、お互いトラブルが起きなくて幸せかなあと思います。

@netebakariさんご返信ありがとうございます。

レスポンスタイムが同じでもサーバーリソースへの負荷が同じとは限らないところが盲点でした。ここはバックエンドの処理を想像しながら対処するしかありませんが、覚えておきたいところ…。

また「レスポンスタイムを監視しておく」とのことですが、調べてみるとJavascriptと連携することでレスポンスタイムを監視できそうですね。^{1 2}実際に稼働させてみないと感覚が分かりませんが、明らかにこの数値が変わっていれば停止させるようにしてみます。

navigationStart = driver.window.execute_script("return window.performance.timing.navigationStart")
responseStart = driver.window.execute_script("return window.performance.timing.responseStart")
responseTime = responseStart - navigationStart
print(responseTime) #レスポンスタイムが表示される

ご教授いただいた事を実装し、モラルを守って取り組んでいこうと思います。

（追記）NavigationTimingについての更にわかりやすい記事があったので後から見た方（もとい自分）のために残しておきます。

サーバに負荷をかけないようにやはりお待ち時間を延長する方がいいと思います。