📌 TL;DR
- 对 400 重试是白费。错误必须分类:429/超时/5xx 才重试,400/401/403/404 立刻抛。分不清就会"浪费时间 + 占配额 + 掩盖真 bug"。
- 只做指数退避、不做抖动,等于没做。实测 1000 个请求同时被限流:不加抖动峰值 1000 个砸在同一刻,加抖动峰值只有 50 个(20ms 分桶)。削峰 95%。
- 重试解决"偶发",fallback 解决"这条路断了",熔断解决"别在必然失败上耗时间"。三者组合,顺序是:retry 在内层、fallbacks 在外层、熔断兜全局。


一、程序一定会出错,差别在出错之后
篇 13 提过"限流 + 退避 + 熔断",但那是简化版------只说了"要退避",没说清楚退避多久、为什么要随机、几次该放弃。
这一篇做完整。
先接受一个事实:这些错误不是"可能遇到",是"一定遇到"。
- 429 限流:并发一上去就碰
- 超时:网络抖一下就碰
- 5xx:服务端总有不稳定的时候
能不能稳定跑,不取决于"会不会出错",取决于"出错之后怎么办"。
二、429:不是错误,是"请慢一点"
响应头里通常有两个有用字段
| 字段 | 含义 | 用法 |
|---|---|---|
Retry-After |
建议等几秒 | 按它等,比自己猜准 |
X-RateLimit-Remaining |
还剩多少配额 | 快用完就主动降速 |
但 DeepSeek 目前不返回这两个头,所以你只能自己退避。
撞 429 的三个原因,排查有顺序
| 原因 | 表现 | 解法 |
|---|---|---|
| 并发太高 | 一开批量就 429 | 降 max_concurrency |
| 请求太密 | 单线程但一秒 20 次 | 加节流 |
| 配额低 | 别人的代码能跑,你的不行 | 升配额/换 key |
先降并发,再看频率,最后查配额。 顺序反了会浪费很多时间。
三、超时:不设会等到 TCP 超时
三种"看着一样、其实不同"的错误
| 异常 | 含义 | 可重试 |
|---|---|---|
OpenAITimeoutError |
等太久没回 | ✅ |
ConnectionError |
连不上 | ✅ |
ConnectionResetError |
连上被掐断 | ✅ |
都可重试,但原因不同:超时可能是生成太长,连不上是网络断了,被掐断多半是服务端重启。
不设 timeout 会怎样
不会"一直等",而是等到 TCP 层超时------通常 2~5 分钟。
1000 个请求各卡 3 分钟,程序看起来"没报错",实际已经废了。
超时值怎么定:先测 P99 延迟,再 ×1.5。
P99 = 8s → timeout 设 12~15s
太小会误杀正常慢请求,太大等于没设。
四、抖动:本篇最有价值的一节
为什么固定间隔没用
假设所有客户端都"失败后等 1 秒":
t=0.0s 1000 个请求全部失败
t=1.0s 1000 个请求全部重试 ← 第二个尖峰
t=2.0s 1000 个请求全部重试 ← 第三个尖峰
尖峰没被削平,只是被推迟了。 这叫重试风暴。
指数退避:越等越久
1s → 2s → 4s → 8s → 16s(上限 30s)
给服务端越来越长的恢复时间。但如果所有客户端都这样,它们仍然同步。
抖动:把同步打散
在退避时间上加随机:
不加抖动:1.0s 2.0s 4.0s 8.0s
加抖动: 0.6s 1.3s 3.7s 7.1s
0.8s 1.9s 2.5s 6.9s ← 每个客户端都不同
实测数据

1000 个请求同时被限流,按 20ms 分桶统计"同一时刻最多挤了多少个":
不加抖动:峰值 1000 个 / 20ms 占用时间桶 1 个
加抖动: 峰值 50 个 / 20ms 占用时间桶 26 个
峰值从 1000 降到 50。 这才叫削峰。
一句话结论
没有抖动,指数退避只是把尖峰推迟,没有削平。
出自 AWS 经典文《Exponential Backoff And Jitter》。很多人只做了指数、没做抖动,以为解决了问题,其实只是把爆炸时间往后挪了几秒。
五、with_retry 与 with_fallbacks
两者解决不同问题
| 方法 | 做什么 | 解决 |
|---|---|---|
with_retry |
同一条路多试几次 | 偶发故障 |
with_fallbacks |
换一条路 | 这条路断了 |
# 重试:最多 4 次,指数退避 + 抖动
chain.with_retry(stop_after_attempt=4, wait_exponential_jitter=True)
# 降级:主链失败切备用
chain.with_fallbacks([backup_chain])
实测:
with_retry:第三次终于成功(共调用 3 次,耗时 1.86s)
主链抛 503 后 → 【备用链路】这是降级后的回答
组合顺序很关键
# A:fallback 在外,retry 在内 → 每层都各自重试
chain.with_fallbacks([...]).with_retry(...)
# B:retry 在内,fallback 在外 → 主链路重试到底才降级
chain.with_retry(...).with_fallbacks([...])
推荐 B。否则备用链路会被"本可以重试成功"的请求打爆。
fallback 的三种用法
| 用法 | 示例 |
|---|---|
| 换模型 | deepseek-chat → deepseek-reasoner |
| 换 Key | 配额用完切另一个 |
| 换实现 | 返回缓存 / 固定话术 |
第三种最实用------"给用户一个兜底回答"通常比"报错"体验好得多。
六、熔断:别在必然失败上耗时间
光有重试的问题
服务彻底挂了时:
请求 1:30s 超时 → 重试 → 30s → 再重试 → 30s → 失败 共 90s
1000 条请求:90000s
重试让"已经确定失败"的事情变得更慢。
三个状态
CLOSED(正常)
↓ 连续失败 N 次
OPEN(熔断)
↓ 冷却 M 秒
HALF_OPEN(半开,放一个试探)
↓ 成功 → CLOSED / 失败 → OPEN
HALF_OPEN 是关键:一直熔断会"服务好了也不知道",一次全放开可能又被打挂。放一个试探最稳。
实测
第1次:503
[状态] → OPEN(连续失败 2 次,暂停 1.0s)
第2次:503
第3次:[熔断中] 直接拒绝,不再请求(已拒绝 1 次)
第4~6次:[熔断中] 直接拒绝
熔断统计:状态=OPEN,累计失败=2,被直接拒绝=4 次
后 4 次根本没发请求,省下的时间和配额是实打实的。
冷却后:
[状态] OPEN → HALF_OPEN(放一个试探请求)
[状态] HALF_OPEN → CLOSED(试探成功,恢复)
降级:熔断之后给什么
熔断是"不请求了",但用户还得有结果:
| 策略 | 示例 |
|---|---|
| 缓存 | 返回上次结果,标注可能过期 |
| 固定话术 | "服务繁忙,请稍后再试" |
| 简化功能 | 不做 RAG,让模型凭知识答 |
| 转人工 | 转客服工单 |
降级不是"失败",是"用次优服务替代完全不可用"。
七、错误分类:所有重试的地基
三类
| 分类 | 特征 | 处理 |
|---|---|---|
retry |
429 / 超时 / 5xx / 连接异常 | 退避重试 |
fatal |
400 / 401 / 403 / 404 | 立刻抛出 |
unknown |
认不出来 | 保守重试 1 次 |
为什么不能一律重试
对 400 重试 4 次:浪费 4 次往返、4 次配额、4 条相同日志,还会掩盖真 bug------你会以为"是网络问题",其实是参数写错了。
别靠类名分类
openai.AuthenticationError (官方 SDK)
langchain_openai.OpenAIInvalidRequestError (被包了一层)
类名随 SDK 版本变。靠消息里的特征更稳:
FATAL_HINTS = ("401", "invalid api key", "authentication",
"400", "invalid parameter", "model not exist")
RETRY_HINTS = ("429", "rate limit", "timeout", "500", "502", "503")
实测真实 401:
OpenAIAuthenticationError
Error code: 401 - Authentication Fails, Your api key: ****0000 is invalid
→ 分类:fatal
八、踩坑排查
| # | 现象 | 真实原因 | 解法 |
|---|---|---|---|
| 1 | 对 400 重试 4 次仍失败 | 参数错,重试无意义 | 先分类,fatal 立刻抛 |
| 2 | 重试后仍全批失败 | 只做指数没做抖动 | 加 jitter(峰值 1000→50) |
| 3 | 服务挂了卡几小时 | 没熔断 | 连续失败即拒 |
| 4 | 备用链路被打爆 | fallbacks 在外层 |
改 retry(...).fallbacks(...) |
| 5 | 抓不到 TimeoutError |
实际是 OpenAITimeoutError |
捕获 Exception 后按消息分类 |
| 6 | except openai.XxxError 失效 |
SDK 包了一层改名 | 按消息特征分类 |
| 7 | 熔断后不恢复 | 没有 HALF_OPEN 试探 |
冷却后放一个请求 |
| 8 | 中文表格错位 | ljust 不按显示宽度 |
拆短列或算 east_asian_width |
九、面试常考五问
Q1:哪些错误该重试?
429、超时、5xx、连接异常。400/401/403/404 不该重试。
Q2:为什么退避要加随机?
不加随机,所有客户端会在同一时刻重试,形成第二个尖峰。加了随机才能打散。
Q3:with_retry 和 with_fallbacks 区别?
前者同一条路多试几次(解决偶发),后者换一条路(解决这条路断了)。
Q4:熔断的三个状态?
CLOSED、OPEN、HALF_OPEN。HALF_OPEN 放一个试探请求决定恢复还是继续熔断。
Q5:熔断和降级的区别?
熔断是"不再请求",降级是"给兜底结果"。两者常配合使用。
十、本篇小结
| 概念 | 一句话 |
|---|---|
| 429 | 请慢一点;先降并发 |
| 超时 | 必须显式设 30~60s |
| 指数退避 | 1→2→4→8,给恢复时间 |
| 抖动 | 必须加;不加只是推迟尖峰 |
with_retry |
同路多试,解决偶发 |
with_fallbacks |
换路走,解决断了 |
| 组合顺序 | retry 在内、fallbacks 在外 |
| 熔断 | CLOSED / OPEN / HALF_OPEN |
| 降级 | 次优可用,不是失败 |
| 分类 | retry / fatal / unknown |
如果只能记一句话:
先分类 → 再退避 → 再 fallback → 最后熔断。
十一、完整代码
已上传 Gitee(01_模型接入_LangChain/15_error_handling.py):
[15_error_handling.py](https://gitee.com/A1328585346/pracote-lang-chain--lang-graph/blob/master/01_模型接入_LangChain/15_error_handling.py)
含 5 个演示:异常分类、退避+抖动(含 1000 并发削峰模拟)、with_retry/with_fallbacks、完整熔断器状态机、真实 401 抓取。
十二、下一篇预告
篇 16:init_chat_model / configurable / ChatOllama / 粘性属性
- 一行
init_chat_model("deepseek-chat")切换厂商标识 configurable_fields:运行时改参数,不重建实例ChatOllama接本地模型,以及和ChatOpenAI的差异- 粘性属性:为什么有的参数"改了不生效"
系列导航 :本系列按「两小时套餐」推进。目前已更新至第 15 篇。
相关篇目:篇 13(并发与吞吐)、篇 14(参数与 timeout)。