前言:
在我们的日常工作中,有时会忽略一些工具或组件的重要性,直到它们引起一连串的问题,我们才意识到它们的价值。正如在Scrapy框架中的HttpErrorMiddleware(HTTP错误中间件)一样,在开始时,我并没有太重视它。但在实际工作中由于它引起的问题连贯性,让我深刻认识到了对其进行深入理解的必要性。对此,有必要在这个章节对HttpErrorMiddleware进行一番详尽的分析。
问题也不会太多,主要讲的就是几个点;关于httperror在前文有过一个简单版本的论述
可以先看这篇文章~
正文:
首先,通过源码剖析,我们可以了解到HttpErrorMiddleware的基本作用:它负责处理Spider的HTTP错误,根据配置来决定是否忽略非200响应。简单来说,当响应状态码在200到300之间,Scrapy会认为这是一个成功的响应,并继续其它处理。然而,如果响应状态码不在这个范围内,中间件将决定基于你的设置是否将其忽略:也就是说,如果你通过设置handle_httpstatus_all或
handle_httpstatus_list来明确指出希望接收非200响应,Scrapy会相应地处理这些响应而不是简单地抛出异常。
1.源码刨析:
a.对应路径:
b.对应源码:
python
"""
HttpError Spider Middleware
该中间件处理Spider的HTTP错误。它根据配置决定是否忽略非200响应。
See documentation in docs/topics/spider-middleware.rst
"""
import logging
from scrapy.exceptions import IgnoreRequest
logger = logging.getLogger(__name__)
# HttpError类继承自IgnoreRequest,用于表示被过滤的非200响应。
class HttpError(IgnoreRequest):
"""表示一个非200响应被过滤的异常类。
Attributes:
response: 发生错误的响应对象。
"""
def __init__(self, response, *args, **kwargs):
self.response = response
super().__init__(*args, **kwargs)
# 处理HTTP错误的中间件类。
class HttpErrorMiddleware:
"""
处理Spider输入时的HTTP错误。
Attributes:
handle_httpstatus_all: 布尔值,配置项,表示是否允许所有非200响应。
handle_httpstatus_list: 列表,配置项,包含允许的非200响应状态码。
"""
@classmethod
def from_crawler(cls, crawler):
"""从爬虫实例创建中间件对象。
Args:
crawler: Crawler实例。
Returns:
HttpErrorMiddleware实例。
"""
return cls(crawler.settings)
def __init__(self, settings):
"""初始化中间件。
Args:
settings: Scrapy设置对象。
"""
self.handle_httpstatus_all = settings.getbool("HTTPERROR_ALLOW_ALL")
self.handle_httpstatus_list = settings.getlist("HTTPERROR_ALLOWED_CODES")
def process_spider_input(self, response, spider):
"""
处理Spider输入的响应。
Args:
response: 响应对象。
spider: 当前处理的Spider。
Returns:
如果响应应该被忽略,则返回None;否则将响应传递给下一个中间件。
"""
# 如果响应状态码是200到300之间,则认为是成功响应,直接返回。
if 200 <= response.status < 300:
return
meta = response.meta
# 如果设置为允许所有非200响应,则直接返回。
if meta.get("handle_httpstatus_all", False):
return
# 如果响应元数据中有指定允许的状态码列表,则只处理列表中的状态码。
if "handle_httpstatus_list" in meta:
allowed_statuses = meta["handle_httpstatus_list"]
elif self.handle_httpstatus_all:
return
else:
# 默认情况下,使用Spider或中间件的允许状态码列表。
allowed_statuses = getattr(
spider, "handle_httpstatus_list", self.handle_httpstatus_list
)
# 如果响应状态码在允许的列表中,则认为是有效响应,返回None。
if response.status in allowed_statuses:
return
# 如果响应状态码未在允许的范围内,则抛出HttpError异常。
raise HttpError(response, "Ignoring non-200 response")
def process_spider_exception(self, response, exception, spider):
"""
处理Spider异常。
Args:
response: 响应对象。
exception: 异常对象。
spider: 当前处理的Spider。
Returns:
如果异常为HttpError,则记录日志并忽略该响应;否则将异常传递给下一个中间件。
"""
# 如果异常为HttpError,则认为是需要忽略的响应。
if isinstance(exception, HttpError):
spider.crawler.stats.inc_value("httperror/response_ignored_count")
spider.crawler.stats.inc_value(
f"httperror/response_ignored_status_count/{response.status}"
)
logger.info(
"Ignoring response %(response)r: HTTP status code is not handled or not allowed",
{"response": response},
extra={"spider": spider},
)
return []
2.对代码进行总结:
a.运行机制
- 当status在【200,300】内的时候,直接返回(无异常);
- 当status开始出现问题的时候,看你是否设置允许状态码;
--- 在spider里面,发送请求的时候会在mata里面带着handle_httpstatus_list或者handle_httpstatus_all ;-->如果是all,表示所有的状态码都不会引发httpError的问题;而handle_httpstatus_list则是需要在集合里面设置对应允许的一些状态码;
--- 也可以直接在setting里面直接进行handle_httpstatus_list 的设置;(如图)
b.报错机制
在允许范围内的status通通不会报错,就没有
process_spider_exception
什么事了; 只有不在范围内的错误,会进行一个统计;
这种设计非常灵活,允许开发者根据实际需求决定哪些HTTP状态码是可接受的,而哪些应当被视为错误。比如,在某些应用场景下,接收到404响应可能是正常的一部分,不应该中断整个爬取流程。因此,通过合理配置HttpErrorMiddleware,就可以实现这样的需求。
3.总结:
HttpErrorMiddleware是Scrapy框架中一个非常重要的组件,尤其是在处理复杂网页爬取时。它不仅能帮助我们更灵活地处理HTTP错误,还能通过设置,让我们的爬虫更加健壮。了解它的工作原理和如何配置,对于开发高效的爬虫程序来说是非常关键的。通过对源码的解析和应用实践,我们能更好地利用这个中间件,优化我们的网络爬虫,不仅提升数据采集效率,还能保证数据的质量和完整性。
总的来说,HttpErrorMiddleware加深了我们对Scrapy框架灵活性和强大功能的认识,是值得每个使用Scrapy框架的开发者深入了解和掌握的知识点。