Scrapy框架动态IP自动轮换集成配置教程

做爬虫开发的小伙伴基本都踩过封IP的坑：高频请求站点后IP被限流、封禁，爬虫直接瘫痪。手动换IP效率极低，而Scrapy原生支持代理中间件，搭配动态IP轮换就能完美解决这个问题。

今天分享一套可直接落地的Scrapy动态IP自动轮换配置方案，全程无冗余操作，仅需简单修改项目配置，就能实现每一次请求自动切换新IP，稳定规避反爬封禁。教程核心动态代理服务采用站大爷代理IP，适配绝大多数爬虫场景，配置简单、兼容性强。

一、前置准备

开始配置前，先确认基础环境和资源到位，避免配置后报错：

1. 已搭建Python+Scrapy环境（Python3.7+、Scrapy2.0+均可）
1. 开通动态IP提取权限，获取专属代理API链接（核心资源，后续配置核心）
1. 确保网络正常，可正常访问代理接口和目标爬取站点

二、核心原理

默认Scrapy请求会固定使用本地IP，我们通过自定义代理中间件，拦截每一次爬虫请求，自动调用动态IP接口获取新代理，替换当前请求IP，实现"一次请求一个IP"的自动轮换效果，从根源避免IP封禁。

三、分步落地配置

步骤1：获取动态IP代理接口

登录代理平台后台，生成动态短效IP提取链接，选择HTTP/HTTPS通用协议，设置IP有效时长（建议10-30秒，适配高频爬虫）、单次提取IP数量，复制专属API地址备用。

这里用站大爷动态IP接口为例，接口返回格式多为纯文本IP:端口，适配Scrapy直接调用，无需复杂解析。

步骤2：编写Scrapy代理轮换中间件

打开你的Scrapy项目，找到middlewares.py文件，新建动态代理中间件，代码可直接复制使用，内置IP自动获取、失效重连、自动轮换逻辑：

python 复制代码

import requests
import random
from scrapy import log

# 替换为你自己的动态IP提取API
PROXY_API = "你的动态IP提取接口地址"

class DynamicProxyMiddleware(object):
    # 初始化获取代理列表
    def __init__(self):
        self.proxy_list = self.get_proxy_list()

    # 调用API获取IP代理池
    def get_proxy_list(self):
        try:
            res = requests.get(PROXY_API, timeout=10)
            # 适配多数平台返回的IP:端口换行格式
            proxy_list = res.text.strip().split('\n')
            # 过滤无效代理
            proxy_list = [p for p in proxy_list if p and ':' in p]
            return proxy_list
        except Exception as e:
            log.msg(f"代理IP获取失败：{str(e)}", level=log.ERROR)
            return []

    # 核心：每次请求随机分配新IP
    def process_request(self, request, spider):
        if self.proxy_list:
            proxy = random.choice(self.proxy_list)
            request.meta['proxy'] = f"http://{proxy}"
        else:
            # 代理池为空时重新获取
            self.proxy_list = self.get_proxy_list()

    # 代理失效自动重试
    def process_exception(self, request, exception, spider):
        # 移除失效代理，重新获取新代理池
        if 'proxy' in request.meta:
            bad_proxy = request.meta['proxy'].replace('http://', '')
            if bad_proxy in self.proxy_list:
                self.proxy_list.remove(bad_proxy)
        # 重新加载代理池
        self.proxy_list = self.get_proxy_list()
        return request

步骤3：开启中间件（修改settings.py）

找到项目根目录的settings.py配置文件，关闭默认代理配置，开启自定义动态代理中间件，粘贴以下配置：

python 复制代码

# 关闭默认重定向、Cookie携带（避免IP轮换后数据冲突）
COOKIES_ENABLED = False
REDIRECT_ENABLED = True

# 开启自定义动态代理中间件（数值越小优先级越高）
DOWNLOADER_MIDDLEWARES = {
    '你的项目名.middlewares.DynamicProxyMiddleware': 543,
    # 关闭Scrapy默认代理中间件，避免冲突
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}

# 配置请求超时、重试次数（适配代理网络波动）
DOWNLOAD_TIMEOUT = 15
RETRY_TIMES = 3
RETRY_HTTP_CODES = [500, 502, 503, 504, 403, 429]

注意：将代码中「你的项目名」替换为自己Scrapy项目的文件夹名称，否则中间件无法生效。

步骤4：测试验证IP轮换效果

编写简单测试爬虫，请求IP查询接口，验证每次请求IP是否不同：

python 复制代码

import scrapy

class IpTestSpider(scrapy.Spider):
    name = 'ip_test'
    start_urls = ['https://httpbin.org/ip']

    def parse(self, response):
        # 打印每次请求的IP
        print("当前请求IP：", response.text)
        # 连续发起多次请求测试轮换效果
        for i in range(5):
            yield scrapy.Request(url='https://httpbin.org/ip', dont_filter=True)

运行爬虫后，控制台打印的IP每次均不重复，说明动态IP自动轮换配置成功。

四、高频问题优化

1. 代理获取频繁失败

大概率是API调用频率超限，可在中间件中增加延时，或在代理后台调整IP提取频率，避免高频请求接口被限制。

2. 部分请求IP重复

属于正常现象，可调高代理池IP数量，缩短IP有效时长，大幅降低重复概率，适配高频爬取场景。

3. 爬取速度变慢

代理网络存在轻微延迟，可在settings.py中调高并发数：CONCURRENT_REQUESTS = 16（根据设备配置微调）。

五、最终总结

整套配置无需复杂开发，核心就是自定义中间件+动态IP接口调用，依托动态代理服务实现请求IP自动切换。配置完成后，爬虫可长期稳定运行，彻底解决中小规模爬虫的IP封禁问题，适配绝大多数常规网站爬取需求，代码可直接复用在各类Scrapy项目中。