#概要
クローリング・スクレイピングのフレームワークScrapy
の勉強中
参考にしている本は、scrapy
コマンドで実行させているが
pycharm
上で実行し、デバッグも行いたかったので備考録としてのメモ
#やりたいこと
scrapyの実行は
G:\pg_wk\python_study\my_scrapy>scrapy runspider myspider.py -o items.li
のように行うが、これと同様のことをpycharm
上でやる
#やったこと
メニュー > 実行 > 構成の編集
から起動構成を作成して実行
下記に設定例
・スクリプト
scrapyのパッケージをインストールしたディレクトリを探せば見つかるはず。
これでG:\pg_wk\python_study\my_scrapy>scrapy
と同じ意味
・スクリプトパラメータ
コマンド時と同様に渡したいパラメータを設定
・作業ディレクトリ
scrapyコマンドを実行させたいディレクトリ
・後でコマンド・ラインを表示する
これにチェックを入れないとなぜかModuleNotFoundError: No module named 'http.client'
と怒られる
参考:https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects