Python 实战：用 IPPEAK 代理 IP 构建稳定的公开数据采集链路

做公开数据采集时，很多问题并不是解析 HTML 本身，而是请求链路不稳定：同一个服务器出口访问过于集中、不同地区看到的数据不一致、请求偶发超时、部分页面出现 403 或 429。

这篇文章不单独讲"代理 IP 是什么"，而是用一个完整的小案例，把 IPPEAK 代理 IP 接入 Python 采集脚本中，完成从代理配置、出口检测、页面采集、失败重试到结果保存的流程。

本文示例目标是公开测试站点 books.toscrape.com。真实业务中，你可以把同样的结构迁移到 SEO 监控、电商价格监测、广告验证、市场研究等场景，并通过 IPPEAK 代理服务获取更稳定的网络出口。

一、实战目标

我们要完成一个最小可用的数据采集链路：

在 IPPEAK 后台获取代理地址、端口、用户名和密码。
在 Python 中配置代理。
请求 IP 检测接口，确认出口 IP 已切换。
使用代理访问公开页面。
解析标题、价格、评分等字段。
加入超时、重试、日志记录。
将采集结果保存为 CSV，方便后续分析。

整体流程如下：

IPPEAK 在这个流程里承担的是"代理访问层"的角色。它不是替代采集代码，而是帮助请求客户端获得更稳定、更接近真实用户环境的网络出口。

二、准备代理配置

在 IPPEAK 后台创建代理后，一般会拿到四类信息：

代理主机
代理端口
用户名
密码

建议在项目中单独放一个 config.py，不要把代理信息散落在多个脚本里。

python 复制代码

IPPEAK_PROXY_HOST = "your-ippeak-endpoint"
IPPEAK_PROXY_PORT = "your-port"
IPPEAK_USERNAME = "your-username"
IPPEAK_PASSWORD = "your-password"

proxy_url = (
    f"http://{IPPEAK_USERNAME}:{IPPEAK_PASSWORD}"
    f"@{IPPEAK_PROXY_HOST}:{IPPEAK_PROXY_PORT}"
)

PROXIES = {
    "http": proxy_url,
    "https": proxy_url,
}

这样做的好处是后续脚本只需要 from config import PROXIES，无论是采集脚本、检测脚本还是定时任务，都能复用同一套代理配置。

三、先检测代理出口

正式采集前，建议先请求一次 IP 检测接口，例如 https://ipinfo.io/json。如果返回的 IP、国家、城市已经变成代理出口，就说明代理配置生效。

python 复制代码

import requests
from config import PROXIES

resp = requests.get(
    "https://ipinfo.io/json",
    proxies=PROXIES,
    timeout=15
)

print(resp.json())

示例运行效果如下：

这一步很重要。很多采集问题看起来像代码错误，实际是代理账号、端口、协议或认证信息配置错了。先做出口检测，可以把问题提前暴露出来。

四、编写采集脚本

下面开始访问公开页面并解析数据。示例使用 requests 请求页面，用 BeautifulSoup 解析商品标题、价格和评分。

python 复制代码

import requests
from bs4 import BeautifulSoup
from config import PROXIES

url = "https://books.toscrape.com/"

resp = requests.get(
    url,
    proxies=PROXIES,
    timeout=15
)
resp.raise_for_status()

soup = BeautifulSoup(resp.text, "html.parser")
books = []

for item in soup.select("article.product_pod"):
    title = item.h3.a["title"]
    price = item.select_one(".price_color").text
    rating = item.p["class"][1]

    books.append({
        "title": title,
        "price": price,
        "rating": rating,
    })

print(f"collected {len(books)} items")

如果是 SEO 排名监控，可以把解析字段换成关键词、排名、标题、链接；如果是电商价格监测，可以换成 SKU、价格、库存、优惠信息。代理层不用大改，主要变化在解析逻辑。

五、加入重试和日志

只写一个 requests.get() 可以跑通 demo，但生产环境不够。建议加入：

请求超时
失败重试
退避等待
状态码记录
请求耗时统计

python 复制代码

import time
import random
import requests

def fetch(url, proxies, retries=3):
    for attempt in range(1, retries + 1):
        start = time.time()

        try:
            resp = requests.get(url, proxies=proxies, timeout=15)
            cost = round((time.time() - start) * 1000)

            print(f"GET {url} {resp.status_code} {cost}ms")

            if resp.status_code == 200:
                return resp

            if resp.status_code in [403, 429, 500, 502, 503, 504]:
                sleep_time = min(2 ** attempt + random.random(), 10)
                print(f"retry in {sleep_time:.1f}s")
                time.sleep(sleep_time)
                continue

            return resp

        except requests.RequestException as error:
            print(f"request error: {error}")
            time.sleep(min(2 ** attempt, 10))

    return None

运行日志示例：

这类日志可以帮助开发者判断问题到底来自目标站、代理链路、网络波动还是代码逻辑。IPPEAK 提供稳定代理资源，代码侧再配合日志和重试，系统才更容易长期运行。

六、保存 CSV 结果

采集到的数据可以先保存成 CSV，方便运营、SEO、数据分析同事查看。

python 复制代码

import csv

with open("output/books.csv", "w", newline="", encoding="utf-8-sig") as f:
    writer = csv.DictWriter(
        f,
        fieldnames=["title", "price", "rating"]
    )
    writer.writeheader()
    writer.writerows(books)

结果预览如下：