pip install --upgrade setuptools
sudo -H pip install incremental==16.10.1
sudo -H pip install --upgrade pip
sudo -H pip install scrapy
Python:使用代理proxy爬虫
http://gohom.win/2016/01/21/proxy-py/
HTTPS代理IP
http://www.xicidaili.com/wn/
基本上程序是一直运行的只在特定的情况下停止的实现方式
---------参考
import os
print os.getpid()
上記で、プロセスIDが取得出来ます。
Linux等であれば、「kill -9 プロセスID」で強制終了できます。
getpid()の値をファイルに出力していれば、「kill -9 cat ファイル名
」で可能です。
----------实现
程序运行最初将pid写入文件里面,执行时判断pid是否变化,只在想要停止的时候手动改变pid,
则程序就会自动停止
----------