scrapyをpycharmでデバッグ

概要

クローリング・スクレイピングのフレームワークScrapyの勉強中

参考にしている本は、scrapyコマンドで実行させているが
pycharm上で実行し、デバッグも行いたかったので備考録としてのメモ

やりたいこと

scrapyの実行は

G:\pg_wk\python_study\my_scrapy>scrapy runspider myspider.py -o items.li

のように行うが、これと同様のことをpycharm上でやる

やったこと

メニュー > 実行 > 構成の編集 から起動構成を作成して実行

下記に設定例
・スクリプト
　scrapyのパッケージをインストールしたディレクトリを探せば見つかるはず。
　これでG:\pg_wk\python_study\my_scrapy>scrapy と同じ意味

・スクリプトパラメータ
　コマンド時と同様に渡したいパラメータを設定

・作業ディレクトリ
　scrapyコマンドを実行させたいディレクトリ

・後でコマンド・ラインを表示する
　これにチェックを入れないとなぜかModuleNotFoundError: No module named 'http.client'と怒られる

参考：https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects