scrapy框架流程

1、Scrapy从Spider子类中提取start_url,然后构造为request请求对象

2、将request请求对象传递给爬虫中间件

3、将request请求对象传递给Scrapy引擎(核心代码)

4、将request请求对象传递给调度器(它负责对多个request安排,好比交通管理员负责指挥交通)

5、将request请求对象传递给scrapy引擎

6、Scrapy引擎将request请求对象传递给下载中间件(可以更换代理IP 更换cookie 更换user-agent,自动重试等)

7、request请求对象传递给到下载器(它通过异步的发送HTTP(s)请求。得到响应封装为response对象)

8、将requests传递给下载中间件

9、下载中间件将response对象传递给scrapy引擎

10、Scrapy 引擎将response对象传递给爬虫中间件(这里可以处理异常情况)

11、爬虫对象中的parse函数被调用(在这里可以得到的response对象进行处理 例如status得到的响应码 ,xpath可以进行提取数据等)

12、第11步调用的yelid管道 调用piplines 对数据进行存储或处理

相关推荐
t_hj1 天前
Scrapy
前端·数据库·scrapy
陌上倾城落蝶雨7 天前
python爬虫
python·scrapy·pycharm
猫头虎9 天前
什么是 npm、Yarn、pnpm? 有什么区别? 分别适应什么场景?
前端·python·scrapy·arcgis·npm·beautifulsoup·pip
t_hj14 天前
scrapy项目开发流程
scrapy
t_hj15 天前
scrapy框架
scrapy
shenyan~17 天前
关于 scrapy框架 详解
scrapy
失败又激情的man20 天前
Scrapy进阶封装(第四阶段:中间件设置,动态UA,ip代理池)
爬虫·scrapy·中间件
Blue桃之夭夭1 个月前
Python爬虫(六):Scrapy框架
爬虫·python·scrapy
华科云商xiao徐2 个月前
Python利用Scrapy框架部署分布式爬虫
python·scrapy
cooldream20092 个月前
利用 Scrapy 构建高效网页爬虫:框架解析与实战流程
爬虫·scrapy·架构