scrapyでのBasic認証とフォームによる認証

訳あってBasic認証とフォームによるユーザ認証がかかったCMSからスクレイピングする必要があったのでその際のメモ。

##Basic認証(HTTP認証)
公式ドキュメント
settings.pyのDOWNLOADER_MIDDLEWARESでHttpAuthMiddlewareを有効にして、Spiderにhttp_userとhttp_passを追加すれば認証通る。

##フォームによる認証
公式ドキュメント
公式のサンプルそのまま。