Webスクレイピングは違法？
ほとんどの場合、Webスクレイピングは違法ではありません。実際、私たちの生活の中でほぼ毎日スクレイピングアプリケーションを使用しています。例えば、Yahoo、Googleなど、Yahooで検索されたほぼすべての情報がクローラーによって収集されます。したがって、テクノロジーとして、Webスクレイピングは違法ではなく、ほとんどの場合、スクレイピングテクノロジーを安全に使用できます。
では、Webスクレイピングはどのような状況下でデータを収集した後に法律的なリスクを抱えますか？
1.スクレイピングとサーバー負荷
Webサイトへの過度なアクセスを直接禁止する法律はありませんが、程度を超えてアクセスをしてしまうと、サーバに過度の負荷をかけることになり、場合によっては、自社のシステムだけでなく、アクセス先のシステムにも何らかの支障が生じるおそれがあります。
この場合、有名なLibrahack事件のようにスクレイピングをした者は理論的には「偽計業務妨害罪」として逮捕される可能性があります。
2.利用規約
スクレイピングのサイトに、スクレイピング収集または商用化のための転載を禁止する利用規約がある場合、規約を違反すると、その場合、事業者から損害賠償請求や差止を請求される可能性があります。
3.robots.txt プロトコル
Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約です。ロボット排除規約、robots.txt プロトコルとも呼ばれます。
Webサイトはrobots.txt プロトコルを通じて、ページ内の情報スクレイピングを許可するかどうかを伝えます。ブラウザに「http://目標サイトのURL/robots.txt」を入力して、robots.txt プロトコルが表示されます。
最後、99%のスクレイピングは法律違反ではありませんが、念の為、Webサイトの利用規約などをちゃんと調べてください。