[LangChain] 学习笔记(15):为什么你的重试没用——429、抖动、fallback 与熔断

📌 TL;DR

  1. 对 400 重试是白费。错误必须分类:429/超时/5xx 才重试,400/401/403/404 立刻抛。分不清就会"浪费时间 + 占配额 + 掩盖真 bug"。
  2. 只做指数退避、不做抖动,等于没做。实测 1000 个请求同时被限流:不加抖动峰值 1000 个砸在同一刻,加抖动峰值只有 50 个(20ms 分桶)。削峰 95%。
  3. 重试解决"偶发",fallback 解决"这条路断了",熔断解决"别在必然失败上耗时间"。三者组合,顺序是:retry 在内层、fallbacks 在外层、熔断兜全局。

一、程序一定会出错,差别在出错之后

篇 13 提过"限流 + 退避 + 熔断",但那是简化版------只说了"要退避",没说清楚退避多久、为什么要随机、几次该放弃。

这一篇做完整。

先接受一个事实:这些错误不是"可能遇到",是"一定遇到"。

  • 429 限流:并发一上去就碰
  • 超时:网络抖一下就碰
  • 5xx:服务端总有不稳定的时候

能不能稳定跑,不取决于"会不会出错",取决于"出错之后怎么办"。


二、429:不是错误,是"请慢一点"

响应头里通常有两个有用字段

字段 含义 用法
Retry-After 建议等几秒 按它等,比自己猜准
X-RateLimit-Remaining 还剩多少配额 快用完就主动降速

但 DeepSeek 目前不返回这两个头,所以你只能自己退避。

撞 429 的三个原因,排查有顺序

原因 表现 解法
并发太高 一开批量就 429 降 max_concurrency
请求太密 单线程但一秒 20 次 加节流
配额低 别人的代码能跑,你的不行 升配额/换 key

先降并发,再看频率,最后查配额。 顺序反了会浪费很多时间。


三、超时:不设会等到 TCP 超时

三种"看着一样、其实不同"的错误

异常 含义 可重试
OpenAITimeoutError 等太久没回 ✅
ConnectionError 连不上 ✅
ConnectionResetError 连上被掐断 ✅

都可重试,但原因不同:超时可能是生成太长,连不上是网络断了,被掐断多半是服务端重启。

不设 timeout 会怎样

不会"一直等",而是等到 TCP 层超时------通常 2~5 分钟。

1000 个请求各卡 3 分钟,程序看起来"没报错",实际已经废了。

超时值怎么定:先测 P99 延迟,再 ×1.5。

复制代码
P99 = 8s  →  timeout 设 12~15s

太小会误杀正常慢请求,太大等于没设。


四、抖动:本篇最有价值的一节

为什么固定间隔没用

假设所有客户端都"失败后等 1 秒":

复制代码
t=0.0s   1000 个请求全部失败
t=1.0s   1000 个请求全部重试    ← 第二个尖峰
t=2.0s   1000 个请求全部重试    ← 第三个尖峰

尖峰没被削平,只是被推迟了。 这叫重试风暴。

指数退避:越等越久

复制代码
1s → 2s → 4s → 8s → 16s(上限 30s)

给服务端越来越长的恢复时间。但如果所有客户端都这样,它们仍然同步。

抖动:把同步打散

在退避时间上加随机:

复制代码
不加抖动:1.0s  2.0s  4.0s  8.0s
加抖动:  0.6s  1.3s  3.7s  7.1s
          0.8s  1.9s  2.5s  6.9s   ← 每个客户端都不同

实测数据

1000 个请求同时被限流,按 20ms 分桶统计"同一时刻最多挤了多少个":

复制代码
不加抖动:峰值 1000 个 / 20ms   占用时间桶 1 个
加抖动:  峰值   50 个 / 20ms   占用时间桶 26 个

峰值从 1000 降到 50。 这才叫削峰。

一句话结论

没有抖动,指数退避只是把尖峰推迟,没有削平。

出自 AWS 经典文《Exponential Backoff And Jitter》。很多人只做了指数、没做抖动,以为解决了问题,其实只是把爆炸时间往后挪了几秒。


五、with_retry 与 with_fallbacks

两者解决不同问题

方法 做什么 解决
with_retry 同一条路多试几次 偶发故障
with_fallbacks 换一条路 这条路断了
复制代码
# 重试:最多 4 次,指数退避 + 抖动
chain.with_retry(stop_after_attempt=4, wait_exponential_jitter=True)

# 降级:主链失败切备用
chain.with_fallbacks([backup_chain])

实测:

复制代码
with_retry:第三次终于成功(共调用 3 次,耗时 1.86s)
主链抛 503 后 → 【备用链路】这是降级后的回答

组合顺序很关键

复制代码
# A:fallback 在外,retry 在内 → 每层都各自重试
chain.with_fallbacks([...]).with_retry(...)

# B:retry 在内,fallback 在外 → 主链路重试到底才降级
chain.with_retry(...).with_fallbacks([...])

推荐 B。否则备用链路会被"本可以重试成功"的请求打爆。

fallback 的三种用法

用法 示例
换模型 deepseek-chat → deepseek-reasoner
换 Key 配额用完切另一个
换实现 返回缓存 / 固定话术

第三种最实用------"给用户一个兜底回答"通常比"报错"体验好得多。


六、熔断:别在必然失败上耗时间

光有重试的问题

服务彻底挂了时:

复制代码
请求 1:30s 超时 → 重试 → 30s → 再重试 → 30s → 失败   共 90s
1000 条请求:90000s

重试让"已经确定失败"的事情变得更慢。

三个状态

复制代码
CLOSED(正常)
   ↓ 连续失败 N 次
OPEN(熔断)
   ↓ 冷却 M 秒
HALF_OPEN(半开,放一个试探)
   ↓ 成功 → CLOSED  /  失败 → OPEN

HALF_OPEN 是关键:一直熔断会"服务好了也不知道",一次全放开可能又被打挂。放一个试探最稳。

实测

复制代码
第1次:503
[状态] → OPEN(连续失败 2 次,暂停 1.0s)
第2次:503
第3次:[熔断中] 直接拒绝,不再请求(已拒绝 1 次)
第4~6次:[熔断中] 直接拒绝

熔断统计:状态=OPEN,累计失败=2,被直接拒绝=4 次

后 4 次根本没发请求,省下的时间和配额是实打实的。

冷却后:

复制代码
[状态] OPEN → HALF_OPEN(放一个试探请求)
[状态] HALF_OPEN → CLOSED(试探成功,恢复)

降级:熔断之后给什么

熔断是"不请求了",但用户还得有结果:

策略 示例
缓存 返回上次结果,标注可能过期
固定话术 "服务繁忙,请稍后再试"
简化功能 不做 RAG,让模型凭知识答
转人工 转客服工单

降级不是"失败",是"用次优服务替代完全不可用"。


七、错误分类:所有重试的地基

三类

分类 特征 处理
retry 429 / 超时 / 5xx / 连接异常 退避重试
fatal 400 / 401 / 403 / 404 立刻抛出
unknown 认不出来 保守重试 1 次

为什么不能一律重试

对 400 重试 4 次:浪费 4 次往返、4 次配额、4 条相同日志,还会掩盖真 bug------你会以为"是网络问题",其实是参数写错了。

别靠类名分类

复制代码
openai.AuthenticationError                      (官方 SDK)
langchain_openai.OpenAIInvalidRequestError      (被包了一层)

类名随 SDK 版本变。靠消息里的特征更稳:

复制代码
FATAL_HINTS = ("401", "invalid api key", "authentication",
               "400", "invalid parameter", "model not exist")
RETRY_HINTS = ("429", "rate limit", "timeout", "500", "502", "503")

实测真实 401:

复制代码
OpenAIAuthenticationError
Error code: 401 - Authentication Fails, Your api key: ****0000 is invalid
→ 分类:fatal

八、踩坑排查

# 现象 真实原因 解法
1 对 400 重试 4 次仍失败 参数错,重试无意义 先分类,fatal 立刻抛
2 重试后仍全批失败 只做指数没做抖动 加 jitter(峰值 1000→50)
3 服务挂了卡几小时 没熔断 连续失败即拒
4 备用链路被打爆 fallbacks 在外层 改 retry(...).fallbacks(...)
5 抓不到 TimeoutError 实际是 OpenAITimeoutError 捕获 Exception 后按消息分类
6 except openai.XxxError 失效 SDK 包了一层改名 按消息特征分类
7 熔断后不恢复 没有 HALF_OPEN 试探 冷却后放一个请求
8 中文表格错位 ljust 不按显示宽度 拆短列或算 east_asian_width

九、面试常考五问

Q1:哪些错误该重试?

429、超时、5xx、连接异常。400/401/403/404 不该重试。

Q2:为什么退避要加随机?

不加随机,所有客户端会在同一时刻重试,形成第二个尖峰。加了随机才能打散。

Q3:with_retry 和 with_fallbacks 区别?

前者同一条路多试几次(解决偶发),后者换一条路(解决这条路断了)。

Q4:熔断的三个状态?

CLOSED、OPEN、HALF_OPEN。HALF_OPEN 放一个试探请求决定恢复还是继续熔断。

Q5:熔断和降级的区别?

熔断是"不再请求",降级是"给兜底结果"。两者常配合使用。


十、本篇小结

概念 一句话
429 请慢一点;先降并发
超时 必须显式设 30~60s
指数退避 1→2→4→8,给恢复时间
抖动 必须加;不加只是推迟尖峰
with_retry 同路多试,解决偶发
with_fallbacks 换路走,解决断了
组合顺序 retry 在内、fallbacks 在外
熔断 CLOSED / OPEN / HALF_OPEN
降级 次优可用,不是失败
分类 retry / fatal / unknown

如果只能记一句话:

先分类 → 再退避 → 再 fallback → 最后熔断。


十一、完整代码

已上传 Gitee(01_模型接入_LangChain/15_error_handling.py):

复制代码
[15_error_handling.py](https://gitee.com/A1328585346/pracote-lang-chain--lang-graph/blob/master/01_模型接入_LangChain/15_error_handling.py)

含 5 个演示:异常分类、退避+抖动(含 1000 并发削峰模拟)、with_retry/with_fallbacks、完整熔断器状态机、真实 401 抓取。


十二、下一篇预告

篇 16:init_chat_model / configurable / ChatOllama / 粘性属性

  • 一行 init_chat_model("deepseek-chat") 切换厂商标识
  • configurable_fields:运行时改参数,不重建实例
  • ChatOllama 接本地模型,以及和 ChatOpenAI 的差异
  • 粘性属性:为什么有的参数"改了不生效"

系列导航 :本系列按「两小时套餐」推进。目前已更新至第 15 篇。

相关篇目:篇 13(并发与吞吐)、篇 14(参数与 timeout)。

相关推荐
小码哥06825 分钟前
智慧物业系统源码定制:公告发布范围与住户阅读记录设计
前端·javascript·vue.js·物业管理·物业系统·物业软件
hi_ro_a1 小时前
Ext系列⽂件系统详解
linux·服务器·操作系统
文丑颜不良啊1 小时前
LeetCode3401~3420题目解析
java·leetcode
文丑颜不良啊2 小时前
LeetCode3421~3440题目解析
java·leetcode
code2cat3 小时前
【随笔】Java客户端选了HTTP/3,怎样知道请求实际走了哪个版本
java·开发语言·http
泯泷3 小时前
Cloudflare 出手抢 Astro:前端框架之战,底层逻辑变了
前端·javascript·前端框架
你住过的屋檐4 小时前
【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程
linux·运维·服务器
码云社区5 小时前
Java在线租房系统源码:VR看房素材、房源图片与内容维护方案
java·vue.js·vr·租房小程序·在线租房·看房租房
码云社区5 小时前
Spring Boot智慧物业系统源码:合同到期提醒、续签资料与资产协作
java·spring boot·后端·物业管理·物业系统·智慧物业