お久しぶりです!
最近仕事で社内向けにRPA研修を行い、
そこで自動化禁止サイトを少しだけ調べたので共有したいと思います。
自動化禁止サイトのまとめ記事がないのが意外でした...!
※注意:2020年6月24日時点の情報です!
※注意:本記事に掲載していないサイトでも利用規約で自動化を禁止しているサイトはたくさんあります。自動化する前に一度ご確認ください。
自動化禁止サイト
Amazon
ロボットなどのデータ収集・抽出ツールによる利用は許可されていません。
利用規約に明記されています。
RPAだけでなくプログラミング言語によるスクレイピングもNGだと思われます。
この利用許可には、アマゾンサービスまたはそのコンテンツの転売および商業目的での利用、製品リスト、解説、価格などの収集と利用、アマゾンサービスまたはそのコンテンツの二次的利用、第三者のために行うアカウント情報のダウンロードとコピーやその他の利用、データマイニング、ロボットなどのデータ収集・抽出ツールの使用は、一切含まれません。
SNSはだいたいNG(例:Twitter, Facebook, Instagram)
Twitterの利用規約には以下のように記されています。
Twitterによる事前の同意がないまま本サービスのスクレイピングをすることは明示的に禁止されています
Facebook, Instagramも同様に自動化はNGです。
ファイナンス系はだいたいNG(例:Yahoo!ファイナンス)
Yahoo!ファイナンスはヘルプで明記されていました。
Yahoo!ファイナンスでは、Yahoo!ファイナンスに掲載している株価やその他のデータを、プログラム等を用いて機械的に取得する行為(スクレイピング等)について、システムに過度の負荷がかかり、安定したサービス提供に支障をきたす恐れがあることから禁止しています
理由までちゃんと書いてくれてありがたいですね。
だいたい自動化を禁止する理由は、「システムへの負荷」が多いように思います。
ファイナンス系のサイトで自動化できたら、みんな株の情報とか自動で取得しまくりますよね。それでサーバーがダウンしてサービス提供ができなくなると困るので、自動化は禁止していますよと。
Wantedly
Wantedlyも利用規約を見たら分かりますけれども、自動化を禁止しています。
個人的に自動化しようと思うことがありましたが、規約的に無理でした(笑)
ボット等の自動化プログラムを用いることによって、本サービスを不正に操作したり、他のお客様の自主的かつ合理的な選択を妨げたりする行為
1.9. 違反等に対する措置
NewsPicks
ニュース系もスクレイピング需要が高いのでしょうか?
NewsPicksでも利用規約の禁止事項に明記されていました
自動化された手段(情報収集ボット、ロボット、スパイダー、スクレーパーなど)を使用して、本サービスにアカウント登録したり、アクセスしたりする行為。
どうやって自動化禁止サイトをスマートに確認できるか?
基本的には利用規約を見ましょう。
私はだいたい「Ctrl + F」でページ内検索をかけて、「自動」「ボット」「スクレイピング」などで検索してヒットした部分しか読んでいません。
そして必ずしも検索でヒットしたからと言って、「このサイト自動化禁止してるやん!!」と思ったら時期尚早です。
ちゃんと文章読んでみてください。
難しそうに見えますが、利用規約はだれでも共通認識を持てる言葉で書かれているはずなので、きっと理解できます!
ちなみに利用規約はだいたいサイトのフッター部分にリンクがあることが多いです。
おわりに
この記事にのっているのは一部で、他にも自動化を禁止しているサイトはたくさんあります。
良い子のみなさんは、利用規約で禁止されていることはやってはいけません:)