爬虫工作量由小到大的思维转变---<第七十三章 > Scrapy爬虫详解一下HTTPERROE的问题

前言:

在我们的日常工作中,有时会忽略一些工具或组件的重要性,直到它们引起一连串的问题,我们才意识到它们的价值。正如在Scrapy框架中的HttpErrorMiddleware(HTTP错误中间件)一样,在开始时,我并没有太重视它。但在实际工作中由于它引起的问题连贯性,让我深刻认识到了对其进行深入理解的必要性。对此,有必要在这个章节对HttpErrorMiddleware进行一番详尽的分析。

问题也不会太多,主要讲的就是几个点;关于httperror在前文有过一个简单版本的论述

爬虫工作量由小到大的思维转变---<第五十三章 Scrapy 降维挖掘---中间件系列(2)> (HttpErrorMiddleware、OffsiteMiddleware和RefererMiddl)-CSDN博客

可以先看这篇文章~

正文:

首先,通过源码剖析,我们可以了解到HttpErrorMiddleware的基本作用:它负责处理Spider的HTTP错误,根据配置来决定是否忽略非200响应。简单来说,当响应状态码在200到300之间,Scrapy会认为这是一个成功的响应,并继续其它处理。然而,如果响应状态码不在这个范围内,中间件将决定基于你的设置是否将其忽略:也就是说,如果你通过设置handle_httpstatus_all或

handle_httpstatus_list来明确指出希望接收非200响应,Scrapy会相应地处理这些响应而不是简单地抛出异常。

1.源码刨析:

a.对应路径:

b.对应源码:

python 复制代码
"""
HttpError Spider Middleware

该中间件处理Spider的HTTP错误。它根据配置决定是否忽略非200响应。

See documentation in docs/topics/spider-middleware.rst
"""

import logging

from scrapy.exceptions import IgnoreRequest

logger = logging.getLogger(__name__)

# HttpError类继承自IgnoreRequest,用于表示被过滤的非200响应。
class HttpError(IgnoreRequest):
    """表示一个非200响应被过滤的异常类。

    Attributes:
        response: 发生错误的响应对象。
    """

    def __init__(self, response, *args, **kwargs):
        self.response = response
        super().__init__(*args, **kwargs)

# 处理HTTP错误的中间件类。
class HttpErrorMiddleware:
    """
    处理Spider输入时的HTTP错误。

    Attributes:
        handle_httpstatus_all: 布尔值,配置项,表示是否允许所有非200响应。
        handle_httpstatus_list: 列表,配置项,包含允许的非200响应状态码。
    """

    @classmethod
    def from_crawler(cls, crawler):
        """从爬虫实例创建中间件对象。

        Args:
            crawler: Crawler实例。

        Returns:
            HttpErrorMiddleware实例。
        """
        return cls(crawler.settings)

    def __init__(self, settings):
        """初始化中间件。

        Args:
            settings: Scrapy设置对象。
        """
        self.handle_httpstatus_all = settings.getbool("HTTPERROR_ALLOW_ALL")
        self.handle_httpstatus_list = settings.getlist("HTTPERROR_ALLOWED_CODES")

    def process_spider_input(self, response, spider):
        """
        处理Spider输入的响应。

        Args:
            response: 响应对象。
            spider: 当前处理的Spider。

        Returns:
            如果响应应该被忽略,则返回None;否则将响应传递给下一个中间件。
        """
        # 如果响应状态码是200到300之间,则认为是成功响应,直接返回。
        if 200 <= response.status < 300:
            return
        meta = response.meta
        # 如果设置为允许所有非200响应,则直接返回。
        if meta.get("handle_httpstatus_all", False):
            return
        # 如果响应元数据中有指定允许的状态码列表,则只处理列表中的状态码。
        if "handle_httpstatus_list" in meta:
            allowed_statuses = meta["handle_httpstatus_list"]
        elif self.handle_httpstatus_all:
            return
        else:
            # 默认情况下,使用Spider或中间件的允许状态码列表。
            allowed_statuses = getattr(
                spider, "handle_httpstatus_list", self.handle_httpstatus_list
            )
        # 如果响应状态码在允许的列表中,则认为是有效响应,返回None。
        if response.status in allowed_statuses:
            return
        # 如果响应状态码未在允许的范围内,则抛出HttpError异常。
        raise HttpError(response, "Ignoring non-200 response")

    def process_spider_exception(self, response, exception, spider):
        """
        处理Spider异常。

        Args:
            response: 响应对象。
            exception: 异常对象。
            spider: 当前处理的Spider。

        Returns:
            如果异常为HttpError,则记录日志并忽略该响应;否则将异常传递给下一个中间件。
        """
        # 如果异常为HttpError,则认为是需要忽略的响应。
        if isinstance(exception, HttpError):
            spider.crawler.stats.inc_value("httperror/response_ignored_count")
            spider.crawler.stats.inc_value(
                f"httperror/response_ignored_status_count/{response.status}"
            )
            logger.info(
                "Ignoring response %(response)r: HTTP status code is not handled or not allowed",
                {"response": response},
                extra={"spider": spider},
            )
            return []

2.对代码进行总结:

a.运行机制

  1. 当status在【200,300】内的时候,直接返回(无异常);
  2. 当status开始出现问题的时候,看你是否设置允许状态码;

--- 在spider里面,发送请求的时候会在mata里面带着handle_httpstatus_list或者handle_httpstatus_all ;-->如果是all,表示所有的状态码都不会引发httpError的问题;而handle_httpstatus_list则是需要在集合里面设置对应允许的一些状态码;

--- 也可以直接在setting里面直接进行handle_httpstatus_list 的设置;(如图)

b.报错机制

在允许范围内的status通通不会报错,就没有

复制代码
process_spider_exception

什么事了; 只有不在范围内的错误,会进行一个统计;

这种设计非常灵活,允许开发者根据实际需求决定哪些HTTP状态码是可接受的,而哪些应当被视为错误。比如,在某些应用场景下,接收到404响应可能是正常的一部分,不应该中断整个爬取流程。因此,通过合理配置HttpErrorMiddleware,就可以实现这样的需求。

3.总结:

HttpErrorMiddleware是Scrapy框架中一个非常重要的组件,尤其是在处理复杂网页爬取时。它不仅能帮助我们更灵活地处理HTTP错误,还能通过设置,让我们的爬虫更加健壮。了解它的工作原理和如何配置,对于开发高效的爬虫程序来说是非常关键的。通过对源码的解析和应用实践,我们能更好地利用这个中间件,优化我们的网络爬虫,不仅提升数据采集效率,还能保证数据的质量和完整性。

总的来说,HttpErrorMiddleware加深了我们对Scrapy框架灵活性和强大功能的认识,是值得每个使用Scrapy框架的开发者深入了解和掌握的知识点。

相关推荐
oliveira-time37 分钟前
爬虫学习6
爬虫
xiaoxiongip6665 小时前
HTTP 和 HTTPS
网络·爬虫·网络协议·tcp/ip·http·https·ip
兆。8 小时前
掌握 PyQt5:从零开始的桌面应用开发
开发语言·爬虫·python·qt
API快乐传递者14 小时前
淘宝反爬虫机制的主要手段有哪些?
爬虫·python
兜里有糖请分享1 天前
Python中序列化/反序列化JSON格式的数据
爬虫·python
亿牛云爬虫专家1 天前
用Puppeteer点击与数据爬取:实现动态网页交互
javascript·爬虫·爬虫代理·puppeteer·数据·代理ip·16yun
API快乐传递者1 天前
利用Python 的爬虫技术淘宝天猫销量和库存
开发语言·爬虫·python
操练起来1 天前
【Python实战案例】爬虫项目实例(附赠源码)
数据库·爬虫·python
编码小袁2 天前
利用爬虫爬取网站信息
爬虫
孤寒者2 天前
【实战篇】requests库 - 有道云翻译爬虫 【附:代理IP的使用】
爬虫·代理ip·隧道代理·有道云翻译爬虫·青果代理ip