技术栈

金丝雀

寻道码路
2 小时前
大模型·mlops·ai工程化·llm灰度发布·自动熔断·金丝雀·生产落地
大模型工程化实战(三):LLM 灰度发布 + 自动熔断,1% 流量试错、指标劣化自动回滚下午 2:17,灰度发布放到 10%。离线评测全绿,监控面板一片祥和。新版这轮优化了 prompt,让回复更短更快——谁也没想到,“更短”的代价是“不再追问”。2:18,转人工率就破了基线 3 倍——可惜当时没装熔断器,这个信号没人接。2:56 客服甩了张截图:用户问“颜色跟图片差太多,我要退,运费谁出?”,新版回“亲,退货需您自理运费哦”——可色差是描述不符,该商家出运费。3:00 人肉回滚完成,曝光整整 43 分钟、约 2600 次请求。不是没人监看,是监控在“看”、人没在“盯”——等红点飘满屏幕,船
我是有底线的