Python爬虫动态换IP实战，彻底解决IP403封禁、限流问题（附完整代码）

前言：爬虫为什么必须更换IP

在网络爬虫数据采集过程中，绝大多数网站都配备了完善的反爬机制，会通过IP访问频率、IP请求频次、IP地域封禁等规则拦截爬虫请求。单一固定IP高频请求会直接触发限流、403禁止访问、IP临时/永久封禁，导致爬虫中断、数据采集不完整。

想要稳定、长期、大批量采集网页数据，动态IP轮换是最核心、最高效的解决方案。动态代理IP可实现每一次请求、每间隔固定时间自动更换全新公网IP，规避网站风控规则。

本文将结合商用动态代理IP，手把手讲解爬虫IP更换原理、账号配置、环境搭建，提供 Requests静态爬虫、Selenium动态爬虫 两套完整可运行代码，包含自动换IP、异常重试、IP有效性检测、风控规避等核心功能，适配99%的爬虫场景。

二、前期准备：IP配置流程

1. 账号注册与开通

这里就不做多的赘述了，不清楚的可以问采购代理ip平台的在线客服

2. 关键参数获取（代码必备）

开通服务后，获取以下核心参数，后续所有代码均依赖该配置：

• 代理域名/IP地址

• 代理端口号

• 代理认证用户名、密码

• IP轮换规则（支持单次换IP、3秒/5秒/10秒轮换）

3. 本地Python环境搭建

本文代码基于Python3.8+开发，提前安装必备依赖库，打开终端执行以下安装命令：

# 核心爬虫请求库
pip install requests
# 自动化动态爬虫库
pip install selenium
# 超时、异常处理辅助库
pip install time random

三、完整配置代码：爬虫接入动态换IP

以下提供两套生产级代码，分别适配静态网页Requests爬虫 （轻量化、高频采集）和动态网页Selenium爬虫 （适配JS渲染页面），均实现自动更换IP、请求异常重试、IP有效性校验、请求间隔防风控功能。

1. 通用配置：IP代理参数封装

统一封装代理配置，后续所有爬虫直接调用，无需重复修改参数，可根据后台信息自行替换：

# -*- coding: utf-8 -*-
import requests
import time
import random
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# ===================== 动态代理配置【自行替换为自己的账号参数】 =====================
PROXY_USER = "你的代理IP用户名"
PROXY_PWD = "你的代理IP密码"
PROXY_HOST = "代理IP代理域名/IP"
PROXY_PORT = "代理端口号"

# 拼接完整代理地址（HTTP/HTTPS通用）
PROXY_URL = f"http://{PROXY_USER}:{PROXY_PWD}@{PROXY_HOST}:{PROXY_PORT}"

# 代理字典配置
PROXIES = {
    "http": PROXY_URL,
    "https": PROXY_URL
}

# 模拟浏览器请求头，规避基础反爬
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept-Language": "zh-CN,zh;q=0.9"
}
# ======================================================================================

2. Requests静态爬虫：单次请求自动换IP（核心常用）

适用于绝大多数静态网页、API接口采集，实现每发送一次请求自动更换全新IP，搭配异常重试机制，保证爬虫稳定性：

def check_proxy_ip():
    """
    校验当前代理IP是否生效
    :return: 生效返回IP地址，失败返回None
    """
    try:
        # 调用公网IP查询接口，验证代理是否生效
        res = requests.get("http://ifconfig.me/ip", proxies=PROXIES, headers=HEADERS, timeout=10)
        if res.status_code == 200:
            return res.text.strip()
    except Exception as e:
        print(f"代理IP校验失败：{str(e)}")
    return None

def spider_requests(url, max_retry=3):
    """
    带自动换IP、异常重试的爬虫请求函数
    :param url: 目标采集地址
    :param max_retry: 最大重试次数
    :return: 页面源码/接口数据
    """
    for retry in range(max_retry):
        try:
            # 随机请求间隔，规避高频风控
            time.sleep(random.uniform(0.5, 2))
            # 发送带代理的请求
            response = requests.get(url, proxies=PROXIES, headers=HEADERS, timeout=15)
            # 状态码校验
            if response.status_code == 200:
                current_ip = check_proxy_ip()
                print(f"请求成功！当前使用IP：{current_ip}")
                return response.text
            else:
                print(f"请求失败，状态码：{response.status_code}，正在重试第{retry+1}次")
                continue
        except Exception as e:
            print(f"请求异常：{str(e)}，正在重试第{retry+1}次")
            time.sleep(1)
    print("多次重试失败，跳过当前链接")
    return None

# 测试运行
if __name__ == "__main__":
    # 测试IP更换效果，可替换为目标采集网址
    test_url = "https://www.baidu.com"
    result = spider_requests(test_url)
    if result:
        print("页面数据采集成功")

3. Selenium动态爬虫：浏览器自动化IP代理配置

针对JS动态渲染页面、需要模拟浏览器操作的爬虫场景，配置Chrome浏览器代理，实现自动化爬虫全程IP轮换：

def init_chrome_proxy():
    """
    初始化带IP代理的Chrome浏览器
    :return: 浏览器driver对象
    """
    chrome_options = Options()
    # 配置代理
    chrome_options.add_argument(f"--proxy-server={PROXY_HOST}:{PROXY_PORT}")
    # 忽略证书报错
    chrome_options.add_argument("--ignore-certificate-errors")
    # 无头模式（可选，生产环境开启，提升效率）
    # chrome_options.add_argument("--headless=new")
    chrome_options.add_argument("--window-size=1920,1080")

    # 初始化浏览器
    driver = webdriver.Chrome(options=chrome_options)
    # 设置页面加载超时
    driver.set_page_load_timeout(20)
    return driver

def selenium_spider(url):
    """
    Selenium动态爬虫，适配动态渲染页面
    """
    driver = init_chrome_proxy()
    try:
        driver.get(url)
        time.sleep(2)
        # 校验当前代理IP
        current_ip = check_proxy_ip()
        print(f"浏览器爬虫启动成功，当前IP：{current_ip}")
        print("页面标题：", driver.title)
        # 此处可添加自定义数据解析、抓取逻辑
        return driver.page_source
    except Exception as e:
        print(f"动态爬虫采集异常：{str(e)}")
        return None
    finally:
        # 关闭浏览器
        driver.quit()

# 测试运行
if __name__ == "__main__":
    test_url = "https://www.baidu.com"
    selenium_spider(test_url)

四、核心优化：爬虫IP更换高级策略

1. 高频采集IP轮换策略

代理IP需支持单次请求换IP 和定时换IP两种模式：低频采集推荐5秒/10秒定时轮换，减少IP资源消耗；高频批量采集推荐单次请求全新IP，彻底规避关联封禁。只需调整轮换规则，代码无需修改即可适配。

2. 风控规避优化

• 增加随机请求间隔（0.5-2秒），模拟真人浏览节奏，避免机器请求特征

• 配置随机UA头，搭配IP轮换，双重规避反爬检测

• 添加异常重试机制，自动过滤失效IP、超时请求，提升爬虫稳定性

3. 失效IP自动过滤

代码中内置check_proxy_ip校验函数，每次请求前验证IP有效性，无效IP自动重试切换，避免无效请求浪费资源，大幅提升采集成功率。

五、常见问题排查与解决方案

1. 代理连接失败、请求超时

原因：账号参数填写错误、代理端口未开放、网络波动。解决方案：核对代理IP的用户名、密码、域名端口；检查本地网络防火墙；适当延长代码timeout超时时间。

2. IP更换不生效、IP重复

原因：未开启单次轮换规则、缓存未清除。解决方案：登录购买的代理IP后台开启高频轮换模式；重启爬虫程序清除本地缓存。

3. 部分HTTPS网站请求失败

解决方案：代码中统一配置http/https双代理，开启浏览器忽略证书报错，适配全站HTTPS请求。

六、总结

爬虫IP更换是突破网站反爬、实现稳定数据采集的核心手段，自建代理池成本高、维护复杂，而动态代理凭借海量IP池、毫秒级轮换、高稳定性的优势，可快速适配各类爬虫场景。

本文提供的全套配置代码可直接落地使用，覆盖静态API爬虫、动态浏览器爬虫两大主流场景，搭配IP校验、异常重试、风控规避策略，彻底解决爬虫IP封禁、限流、采集失败等问题，大幅提升爬虫存活时长与数据完整度。开发者仅需替换自身IP账号参数，即可快速搭建高稳定、可自动换IP的爬虫系统。