技术栈

排查与防护

七夜zippoe
27 分钟前
ai·agent·通信灾难·雪崩故障·排查与防护
多 Agent 通信灾难:状态不一致导致雪崩故障的排查与防护摘要:凌晨两点,我们的工单处理 Agent 集群因为一条消息被重复投递而雪崩:消息量从每分钟 480 条放大到 13000 条(27 倍),1.2 万条状态记录被陈旧写覆盖,3200 条重复通知发给了客户,服务不可用 4 小时 12 分。最讽刺的是:第 27 篇讲的三段 ID 我们全都有,第 39 篇讲的超时与幂等我们也实现了——协议是对的,工程没落地。 本文完整复盘:从三条日志线索定位到"幂等键每次重投都重新生成"、分层归因五个根因(重复投递 / 幂等键设计错 / 版本号缺失 / 无因果排序 / 重试风
我是有底线的