Scrapy

scrapydのキューをsqliteから確認する

scrapydとは

scrapyをデーモン化し、APIでリクエストできるようになるOSSプロジェクト。
https://scrapyd.readthedocs.io/en/stable/
https://github.com/scrapy/scrapyd

キュー

APIにリクエストされたキューは、sqliteに保持され順次実行される。APIを叩けば一覧を取得することは可能だが、件数が多くなるとAPIの結果(json)だと面倒なので、内部的に利用されているsqliteにクエリを投げる。

sqliteログイン

sudo sqlite3 /opt/python/current/app/project/dbs/scraper.db

クエリ

spider_queueにキューが格納されているので、クエリを投げることで確認できる。(64万件!)

sqlite> select count(*) from spider_queue;
640725