LoginSignup
9
16

More than 5 years have passed since last update.

@aki3061

Pythonでクローラーを作成するときに有用なライブラリ集

Last updated at Posted at 2017-12-21

基本

  • Webページの取得
    • Requests
  • xml/html操作
    • lxml
  • HTMLの操作
    • cssselect
  • スクレイピングライブラリ
    • Beautiful Soup
  • RSSのパース
    • feedparser
  • MySQLへの接続（データの保存）
    • mysqlclient
      • MySQL-pythonからフォークされた

応用

  • クローラー開発のフレームワーク
    • Scrapy

参考文献

  • 加藤 勝也、 横山 裕季、（2017）『Pythonによるクローラー＆スクレイピング入門 設計・開発から収集データの解析まで』翔泳社
9
16
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
9
16