Python
Pycharm
Scrapy

scrapyをpycharmでデバッグ

概要

クローリング・スクレイピングのフレームワークScrapyの勉強中

参考にしている本は、scrapyコマンドで実行させているが
pycharm上で実行し、デバッグも行いたかったので備考録としてのメモ

やりたいこと

scrapyの実行は

G:\pg_wk\python_study\my_scrapy>scrapy runspider myspider.py -o items.li

のように行うが、これと同様のことをpycharm上でやる

やったこと

メニュー > 実行 > 構成の編集 から起動構成を作成して実行

下記に設定例
・スクリプト
 scrapyのパッケージをインストールしたディレクトリを探せば見つかるはず。
 これでG:\pg_wk\python_study\my_scrapy>scrapyと同じ意味

・スクリプトパラメータ
 コマンド時と同様に渡したいパラメータを設定

・作業ディレクトリ
 scrapyコマンドを実行させたいディレクトリ

・後でコマンド・ラインを表示する
 これにチェックを入れないとなぜかModuleNotFoundError: No module named 'http.client'と怒られる

aaa.png

参考:https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects