scrapy豆瓣爬虫增强-批量随机请求头

1.1 豆瓣爬虫增强,中间件随机请求头

1.2 清除原有的中间件,进行中间件测试

1.3 导入全新的中间件

1.4 运行爬虫,这个时候的请求头是固定的

1.5 强化对agent的输出,会舍弃输出cookie,使输出更明了

1.6 转移输出请求头位置

新增输出

造成这样问题的原因是Douban/Douban/settings.py 依旧在使用第一次定义的请求头

1.7 中间件进行ui重置

再次运行爬虫,请求头开始改变