LoginSignup
14

More than 5 years have passed since last update.

Webスクレイピングにおける注意事項

Last updated at Posted at 2018-05-18

はじめに

Webスクレイピングする際に注意すべき事項を簡潔にまとめていきます。
※より詳細な情報についてはページ下部にある参考ページに詳しく載っています。

注意事項

情報解析のためにデータを複製する事はOK。ただし以下事項に注意。

  • 著作権

    • 情報解析の為のデータ複製はOK、ただしそのデータに関連した物を公開するのは×
  • 動産不法侵入

    • Webページが提示している条件を守る
      • robot[s].txt の内容を守る
      • aタグのrel属性がnofollowの場合は除外
      • …など
    • サーバーに負荷をかけない
  • スクレイピング対象サイトの利用規約に違反しない

    • 例えばTwitterであれば、規約内で明示的にスクレイピングを禁止している

参考ページ

Webスクレイピングする際のルールとPythonによる規約の読み込み

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
14