バージョン情報

Scrapy 2.1.0

やること

Spiderのコンストラクタ内でself.user_agentにユーザエージェント文字列を設定します。

こうすることで、デフォルトで動くUserAgentMiddlewareがSpiderの属性からユーザエージェントを拾って使ってくれます。


class CustomCrawlSpider(CrawlSpider):
    name = 'crawl'

    def __init__(self, *args, **kwargs):
        self.user_agent = 'custom-user-agent'

言われなきゃわからん！！と思いましたが、よくよく公式ドキュメントを読んでみるとUserAgentMiddlewareに書かれていました。

In order for a spider to override the default user agent, its user_agent attribute must be set.

GitHubで該当の箇所を見てみるとたしかにspider.user_agentを参照してます。

Scrapyはコマンドラインで与えた引数がSpiderの属性になるので、引数としてuser_agentを渡すことでもユーザエージェントを指定可能です。

scrapy crawl quotes -a user_agent=custom-user-agent

ユーザエージェントが固定値で良いのであれば、settings.pyやSpiderのcustom_settingsにUSER_AGENTを設定することでも対応できます。