Skip to main content

标签: ip

scrapy 防止网站限制IP

根据scrapy官方文档:http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned里面的描述,要防止scrapy被ban,主要有以下几个策略。1,动态设置user agent2,禁用cookies3,设置延迟下载4,使用Google cache5,使用IP地址池(Tor project、VPN和代理IP)6,使用Crawlera由于Google...[…]

Read More