Webスクレイピングにおける注意事項

#はじめに
Webスクレイピングする際に注意すべき事項を簡潔にまとめていきます。
※より詳細な情報についてはページ下部にある参考ページに詳しく載っています。

#注意事項
情報解析のためにデータを複製する事はOK。ただし以下事項に注意。

• 著作権

  • 情報解析の為のデータ複製はOK、ただしそのデータに関連した物を公開するのは×

• 動産不法侵入

  • Webページが提示している条件を守る
    • robot[s].txt の内容を守る
    • aタグのrel属性がnofollowの場合は除外
    • …など
  • サーバーに負荷をかけない

• スクレイピング対象サイトの利用規約に違反しない

  • 例えばTwitterであれば、規約内で明示的にスクレイピングを禁止している

#参考ページ
Webスクレイピングする際のルールとPythonによる規約の読み込み