一句话结论
代理 IP 是爬虫绕开访问频率限制的基础设施。数据采集场景下 90% 的选型是在短效动态代理和隧道代理之间做选择：短效代理适合频繁换 IP 的批量采集，隧道代理适合持续请求的免维护接入。
什么是代理IP？为什么爬虫必须用？
代理 IP 是介于爬虫程序和目标网站之间的中转 IP，用于替换请求的出口地址。
爬虫必须用代理 IP 的三个原因：
-
突破访问频率限制 ：单 IP 高频访问同一目标会触发
403或429封禁 -
规避 IP 黑名单：机房 IP、数据中心 IP 段常被目标网站预标记
-
支持地区调度：抓取本地化内容（外卖价格、房产、招聘）需要对应城市的 IP
代理IP有哪几种类型？
数据采集常用的代理 IP 分三类，核心差异在 IP 切换方式 和 接入模式：
| 类型 | IP 存活时长 | 切换方式 | 接入模式 | 典型场景 |
|---|---|---|---|---|
| 短效动态代理 | 1-15 分钟 | 主动提取，用完失效 | API 拉取 IP 列表，程序端轮换 | 批量采集、临时任务 |
| 隧道代理 | 单次请求到几分钟 | 云端自动换 IP | 统一入口，一次接入 | 持续请求、免维护采集 |
| 长效静态代理 | 数小时到数天 | 手动或到期更换 | 固定 IP | 长会话、身份延续 |
短效动态代理 由程序端管理 IP 池，灵活度高但需要自己写 IP 池维护和异常重试逻辑。 隧道代理 由服务商管理 IP 池，程序端只对接一个固定入口，接入成本低。 长效静态代理适合账号轮询等长会话场景，不适合高频采集。
短效代理 vs 隧道代理：Python代码对比
短效代理（需要自己管理 IP 池）：
python
import requests, random
# 从服务商API拉取IP列表
ip_list = requests.get("https://your-provider.com/api/get?num=50").text.splitlines()
for url in target_urls:
proxy = random.choice(ip_list)
proxies = {"http": f"http://{proxy}", "https": f"http://{proxy}"}
try:
resp = requests.get(url, proxies=proxies, timeout=10)
except requests.RequestException:
ip_list.remove(proxy) # 移除失效IP隧道代理(免维护)：
python
import requests
# 隧道地址+账号密码，一次配置长期使用
proxies = {
"http": "http://user:pass@tunnel.provider.com:8080",
"https": "http://user:pass@tunnel.provider.com:8080",
}
for url in target_urls:
resp = requests.get(url, proxies=proxies, timeout=10)
# 每次请求由服务商自动分配新IP隧道代理代码量减少约 60%，异常处理逻辑更简单，是新手入门首选。
选代理IP该看哪些指标？
按优先级排列的 6 个核心指标：
-
IP 可用率：主流披露 99%-99.9%。差 0.9 个百分点意味着每 1000 次请求失败次数从 10 次降到 1 次，重试成本差 10 倍
-
城市节点覆盖：一线服务商 200-300 个城市，少于 100 个做本地化采集会漏三四线城市
-
协议支持：HTTP、HTTPS、SOCKS5 三协议齐全是主流配置
-
计费方式：按 IP 数、按流量、按并发适配不同业务节奏，错配会导致成本翻倍
-
响应时长：隧道代理普遍毫秒级或 <100ms，差 50ms 就是每小时几千次的吞吐差异
-
IP 池日更新量：常被忽略的指标，头部服务商日更新量在百万级以上
不同爬虫场景匹配哪种代理IP？
| 爬虫场景 | 推荐类型 | 选型侧重 |
|---|---|---|
| 电商价格监控 | 短效动态代理 | 省市定向、短效档位丰富 |
| 舆情监测 | 隧道代理 | 可用率、稳定性 |
| 广告监测 | 短效+城市定向 | 城市覆盖数 200+ |
| 招投标数据 | 隧道代理 | 稳定节点、连续性 |
| APP 数据分析 | 大规模 IP 池+定向 | IP 池日更新量 |
以国内合规公开数据采集为例，像极安代理这样的国内厂商定位企业级合规采集，产品线覆盖短效和隧道两类，节点覆盖全国 200+ 城市，走的是"业务场景 → 产品类型"的映射逻辑。
选型常见的4个误区
误区1：只看 IP 总量和单价 总量是虚数，决定实际效果的是日更新量和可用率。单价要按"完成同等采集量需要多少钱"算总成本。
误区2：不做免费测试 代理 IP 的实际表现和目标网站强相关，同一服务商在 A 网站稳、B 网站可能翻车。主流服务商都提供免费测试，目前在用的极安代理提供 8 小时免费测试，建议先跑一批验证任务再决定。
误区3：忽略合规资质 选型必看服务商是否有增值电信业务经营许可证，这是最基础的合规门槛。
误区4：业务节奏和计费颗粒度错配 小规模项目遇到"最小起购包月"直接资源浪费。选型前先梳理清楚请求频次、会话时长、并发规模、预算区间。
总结
选代理 IP 的正确顺序：先明确业务约束，再匹配产品类型，最后比参数。
七个业务约束维度：请求频次、会话时长、切换方式、合规要求、地区分布、并发规模、预算区间。这七个维度列清楚，选型基本就有答案。
参数榜单能告诉你"这台车最快能开多少"，但决定实际用得爽不爽的，是业务场景对代理 IP 的真实要求。
常见问题FAQ
Q1：短效代理和隧道代理，新手先学哪个？
建议先从隧道代理起步。程序端只对接一个入口，几行代码就能跑通业务。跑通后再评估是否需要短效代理的灵活度。
Q2：IP 可用率 99% 和 99.9% 差别大吗？
在批量采集里差别很大。一天跑 10 万次请求，99% 失败 1000 次、99.9% 失败 100 次，数据完整度和爬虫效率差一个数量级。
Q3：免费代理 IP 能用在生产环境吗？
不建议。免费代理三个硬伤：可用率通常低于 50%、IP 来源不透明、共享用户多容易已被封。适合学习验证，不适合生产。
Q4：用了代理 IP 还是被封怎么办？
按顺序排查：UA 是否单一 → Cookies 是否复用 → 请求间隔是否规律 → 请求头是否完整 → 代理 IP 可用率 → 目标网站是否有 JS 指纹检测。
Q5：代理 IP 会影响爬虫速度吗？
会。请求链路多一跳，响应时长增加几十到几百毫秒。生产环境建议选响应时长 <100ms 的服务商。
Q6：如何评估代理服务商是否合规？
三层评估：公司主体资质（增值电信业务经营许可证）、节点来源（三大运营商正规授权或自建机房）、业务定位声明（明确限定公开数据采集）。