Scrapy 架构源码解析

Scrapy 是 Python 生态中最成熟、应用最广泛的异步爬虫框架，基于 Twisted 事件驱动网络引擎实现，采用组件化、松耦合的架构设计，内置了请求调度、内容下载、数据解析、结果管道、中间件扩展等完整能力。本文从源码视角拆解 Scrapy 的核心架构与组件交互逻辑，帮助开发者理解其运行原理，为二次开发与性能调优提供底层依据。

一、整体架构概览

Scrapy 的核心架构由 7 大核心组件 + 2 类中间件 + 3 类核心数据实体构成，所有组件通过引擎（Engine）统一调度，基于事件驱动的异步模式运行。

核心组件与对应源码模块

表格

组件	核心职责	源码路径
Engine（引擎）	中枢调度器，协调所有组件的数据流与生命周期	scrapy.core.engine.Engine
Scheduler（调度器）	请求队列管理、去重过滤、优先级调度	scrapy.core.scheduler.Scheduler
Downloader（下载器）	异步发送 HTTP 请求，获取响应数据	scrapy.core.downloader.Downloader
Spiders（爬虫）	用户逻辑入口，定义爬取规则与解析逻辑	scrapy.spiders
Item Pipeline（数据管道）	数据清洗、验证、持久化处理	scrapy.core.pipeline.ItemPipelineManager
Downloader Middleware	下载层拦截扩展，修改请求 / 响应 / 处理异常	scrapy.downloadermiddlewares
Spider Middleware	爬虫层拦截扩展，处理请求输入与解析输出	scrapy.spidermiddlewares

核心数据实体

• Request：爬取请求对象，封装 URL、请求方法、回调函数、优先级、元数据等
• Response：响应对象，封装响应体、状态码、请求上下文等
• Item：结构化数据对象，承载爬虫解析出的业务数据

二、核心组件源码深度解析

1. Engine：事件驱动的中枢引擎

Engine 是 Scrapy 架构的核心，本身不处理具体业务，只负责组件间的数据流转发与生命周期管理，所有组件的交互都必须经过引擎。

核心源码逻辑

Engine 类的核心属性包括 scheduler、downloader、spider、signals 等，其运行基于 Twisted 的 reactor 事件循环，全程单线程异步。

核心方法与流程：

• open_spider(spider)：爬虫启动入口，初始化调度器、下载器、中间件，触发 spider_opened 信号，调用 start() 启动请求循环。
• next_request()：引擎的核心循环方法，不断从调度器取出请求交给下载器执行；同时控制并发数上限，达到阈值时暂停取请求。
• process_spider_output(response, output, spider)：处理爬虫回调的返回结果，遍历输出的每一项：如果是 Request 则提交给调度器入队；如果是 Item 则交给数据管道处理。
• handle_downloader_output(response, request, spider)：接收下载器返回的响应，经过爬虫中间件后提交给爬虫的回调函数。

源码关键点：Engine 通过 Deferred 异步回调链串联整个流程，没有阻塞式的循环等待，所有 IO 操作都由 Twisted 事件循环统一调度。

2. Scheduler：请求队列与去重机制

调度器负责管理所有待爬取的 Request，核心能力是去重过滤 和优先级队列，是控制爬取顺序与避免重复爬取的核心组件。

核心组成（源码层面）

• 去重过滤器（DupeFilter） ：默认实现为 scrapy.dupefilters.RFPDupeFilter，基于 request_fingerprint() 函数生成请求指纹，通过内存集合记录已爬取指纹。
  • 指纹生成规则：默认对请求的 method + url + body + canonical_headers 做 SHA1 哈希，保证相同语义的请求生成相同指纹。
  • 支持持久化：可配置基于磁盘的去重过滤器，支持断点续爬。
• 优先级队列（Priority Queue） ：默认使用 scrapy.pqueues.memory.MemoryPriorityQueue，基于 Python 内置 heapq 实现，按 Request 的 priority 属性排序，数值越大优先级越高。
• 核心方法 ：
  • enqueue_request(request)：先经过去重过滤器判断，未重复则加入优先级队列；
  • next_request()：从队列头部取出优先级最高的请求返回给引擎；
  • has_pending_requests()：判断是否还有待处理请求，用于控制爬虫退出时机。

3. Downloader：异步下载核心

下载器是 Scrapy 异步能力的核心载体，基于 Twisted 的异步 HTTP 客户端实现，负责将 Request 转化为网络 IO，并返回 Response。

源码结构与执行链路

Downloader 内部通过 DownloaderMiddlewareManager 管理下载中间件链，底层通过 DownloadHandlers 适配不同协议（HTTP/HTTPS/FTP 等），默认使用 HTTP11DownloadHandler 基于 Twisted 的 Agent 发送请求。

完整的下载调用链：

1. 引擎将 Request 传给 Downloader 的 fetch() 方法；
2. 依次调用所有下载中间件的 process_request() 方法，可修改请求、返回 Response 或抛出异常；
3. 经过中间件链后，交给对应协议的 Handler 执行实际网络请求；
4. 请求成功返回 Response 后，逆序调用中间件的 process_response() 方法；
5. 请求异常则逆序调用中间件的 process_exception() 方法；
6. 最终将结果（Response / 异常）通过 Deferred 回调返回给引擎。

并发控制：Downloader 通过 Slot 机制控制并发，每个域名对应一个 Slot，维护该域名的并发请求数，通过 CONCURRENT_REQUESTS_PER_DOMAIN 配置限制，避免对目标站点造成过大压力。

4. Spiders：用户逻辑入口

Spider 是开发者接触最多的组件，所有爬取规则与解析逻辑都在此定义。Scrapy 提供了 Spider 基类，以及 CrawlSpider、XMLFeedSpider、SitemapSpider 等开箱即用的子类。

核心源码逻辑

• start_requests()：爬虫启动时的请求生成入口，默认遍历 start_urls 生成 GET 请求，回调函数默认为 parse。开发者可重写该方法实现自定义初始请求。
• parse(response)：默认的响应解析回调函数，开发者在此编写解析逻辑，返回 Request、Item 或它们的可迭代对象。
• make_requests_from_url(url)：根据 URL 生成 Request 对象的工厂方法。

引擎通过 scrapy.core.scraper.Scraper 类调用 Spider 的回调函数，Scraper 负责管理爬虫中间件链、执行回调、处理返回结果。

5. Item Pipeline：数据处理管道

数据管道负责对 Spider 解析出的 Item 进行后续处理，包括数据清洗、格式校验、去重、持久化等，支持同时配置多个管道，按优先级顺序执行。

源码执行逻辑

ItemPipelineManager 加载 settings.py 中 ITEM_PIPELINES 配置的管道类，按配置的权重值从小到大排序（权重越小优先级越高）。

每个管道类必须实现 process_item(item, spider) 方法：

• 返回 Item：继续交给下一个管道处理；
• 抛出 DropItem 异常：丢弃该 Item，终止管道流程；
• 返回 Deferred：异步处理，等待结果返回后继续后续管道。

6. 中间件体系：可插拔的扩展机制

Scrapy 的中间件分为下载中间件和爬虫中间件两类，都基于 MiddlewareManager 基类实现，采用责任链模式构建调用链。

下载中间件（Downloader Middleware）

• 执行方向：请求时从上到下依次执行 process_request；响应 / 异常时从下到上依次执行 process_response/process_exception。
• 典型应用：User-Agent 轮换、代理 IP 切换、自动重试、Cookie 管理、请求签名。

爬虫中间件（Spider Middleware）

• 执行方向：响应输入爬虫时，从上到下执行 process_spider_input；爬虫输出结果时，从下到上执行 process_spider_output。
• 典型应用：响应内容预处理、异常统一捕获、请求元数据注入。

三、完整数据流与调用链路

一个 Request 从生成到完成的完整生命周期，对应源码中的调用链路如下：

1. 请求生成 ：Spider 的 start_requests() 生成初始 Request，经过爬虫中间件 process_spider_output 后提交给 Engine。
2. 入队调度：Engine 将 Request 转发给 Scheduler，Scheduler 调用 DupeFilter 去重，未重复则加入优先级队列。
3. 请求出队 ：Engine 调用 next_request() 从 Scheduler 取出请求，提交给 Downloader。
4. 下载执行 ：Request 经过下载中间件 process_request 链，由 Download Handler 发送网络请求；得到 Response 后逆序经过 process_response 链。
5. 响应解析 ：Downloader 将 Response 返回给 Engine，Engine 经过爬虫中间件 process_spider_input 后交给 Spider 的回调函数解析。
6. 结果处理 ：Spider 回调返回 Item 和新的 Request：
   • Item 交给 Item Pipeline 依次处理；
   • 新 Request 再次提交给 Scheduler 入队，进入下一轮循环。
7. 爬虫终止：当 Scheduler 没有待处理请求、Downloader 没有正在执行的请求时，Engine 触发爬虫关闭流程，执行资源清理。

四、关键机制源码细节

1. 配置加载机制

Scrapy 的配置系统采用多层级覆盖策略，优先级从高到低为： 命令行参数 > 项目 settings.py > 爬虫自定义 custom_settings > 框架默认配置 default_settings.py

源码中由 scrapy.settings.Settings 类实现，支持字典式访问，配置加载时按优先级逐层合并，高优先级配置覆盖低优先级。

2. 信号系统

Scrapy 内置了完整的信号机制，基于 pydispatch 库实现，用于组件间解耦通信。核心信号包括 spider_opened、spider_closed、item_scraped、request_scheduled、response_downloaded 等。

SignalManager 统一管理信号的订阅与分发，各个组件可以在不直接依赖的情况下，通过信号感知框架状态、执行自定义逻辑。

3. 错误重试机制

重试能力由 RetryMiddleware 下载中间件实现，默认对 5xx 状态码、连接超时等异常进行重试，通过 RETRY_TIMES 配置最大重试次数，每次重试会降低请求优先级，避免阻塞队列。

五、总结

Scrapy 的架构设计充分体现了单一职责、面向接口、事件驱动的设计思想：引擎作为中枢调度所有组件，各组件只负责单一能力，通过中间件和信号系统提供扩展点，基于 Twisted 实现了高效的异步 IO。

理解 Scrapy 的源码架构，不仅能帮助开发者快速定位爬虫运行中的问题，更能基于其扩展点定制个性化能力，比如分布式调度、自定义反爬策略、异步数据持久化等，充分释放框架的能力边界。