下载中间件

2024/5/6 23:22:00

Scrapy 学习篇(八)--下载中间件

setting中定义好"USER_AGENTS_LIST",同时开启下载中间件 import randomclass RandomUserAgentMiddleware:#当每个request经过下载中间件时,该方法被调用def process_request(self,request,spider):ua random.choice(spider.settings.get(&qu…