Scrapy Shell の使い方 #Python

Scrapy Shell とは

Scrapy のためのインタラクティブシェルで、CSS セレクターや XPath による抽出を簡単に試せる。
通常の Python のインタラクティブシェルと同様に Python のコードを実行できる。

scrapy shell コマンドに URL を引数として与えることで起動。

$ scrapy shell https://****/****/****

関数	内容
`shelp()`	Scrapy Shell のヘルプを表示する。
`fetch(url[, redirect=True])` or `fetch(req)`	引数で指定した URL または `Request` オブジェクトのページを新しく取得し、`request` や `response` などの変数の値を置き換える。
`view(response)`	引数で指定した `Response` オブジェクトをブラウザで表示する。