LLM 业务级可观测

monitoring-agent 说全绿,用户却炸了:redis / postgres / 网关都活着,但本月 LLM 账单翻三倍,且回答质量肉眼下滑。组件级健康监控(《系统健康监控巡检》)管不了"业务维度"的健康------组件活着 ≠ 服务健康。

核心论点

传统组件健康看不到 LLM 特有的 golden signal(黄金信号):token 成本、P99 延迟、回答质量退化。LLM 平台的可观测要分两层:组件活着(《系统健康监控巡检》)只是地基,token / 延迟 / 质量这三盏灯才是"服务还健不健康"的答案。

组件健康 vs 业务健康:两个维度

维度 回答的问题 谁负责
组件健康 谁挂了、影响面多大 《系统健康监控巡检》拓扑矩阵
业务健康 花了多少、慢不慢、答得对不对 本篇(LLM 平台专属)

三大 golden signal(LLM 专属)

signal 含义 为什么重要
token 流速与成本突增 单位时间 token 消耗异常 往往先于账单暴露浪费或循环调用
P99 延迟(99 分位延迟) 绝大多数请求都比它快 均值掩盖长尾,P99 才反映真实体感
质量退化 幻觉率上升、偏离预期格式、答非所问 最隐蔽也最伤体验

数据从哪来:网关已埋点,监控侧聚合

层 数据源 职责
网关层 Langfuse 链路(追问链路)+ Prometheus 指标(token/延迟) 业务信号源头
监控侧 在组件矩阵外另建"业务级看板"聚合这些信号 不重复《系统健康监控巡检》存活矩阵

决策:数据源在网关(唯一出口),聚合在监控,职责边界和《系统健康监控巡检》一致。

⚠️ Langfuse 存完整对话 ,是最大 PII 落点之一------按《合规护栏》跨平面原则,trace 导出前必须经脱敏引擎脱敏(完整跨平面处置见《合规护栏》总表),否则网关在模型侧的脱敏白做。

质量退化怎么发现(组件探针做不到)

方法 实现
在线 eval / 抽样打分 对回答做自动化质量评估
用户反馈回路 踩/赞、纠错作为质量信号回灌

决策:质量不是"通不通",是"好不好",只能靠评估与反馈,不能靠探针。

与告警 / 自愈联动

信号 处置 衔接篇
成本突增 触发预算熔断 《成本治理与限流》
质量退化 触发降级或人在回路 《自动操作回复与自愈闭环》(安全边界)

价值:业务信号不是看完板,是驱动《系统健康监控巡检》/《自动操作回复与自愈闭环》的处置动作。

业务级告警规则(已落地)

规则 触发条件 级别
GatewayCostSpike 5m 速率 > 2×1h 基线 P2(与《成本治理与限流》预算联动)
GatewayP99LatencyHigh P99 > 10s 持续 5m P2
GatewayLoopStorm 循环熔断 >1/s 持续 5m P2(联动《自动操作回复与自愈闭环》)
GatewaySafetySurge 注入拦截+治理异常 >0.5/s 持续 10m P3
可用性 服务失联 P1

业务级看板(6 面板)

请求速率 / P99 / token 速率 / 循环 / 缓存命中 / 安全拒绝。

延迟/成本/循环面板分别复用《系统健康监控巡检》/《成本治理与限流》/《自动操作回复与自愈闭环》已注册指标;告警 expr 即看板面板查询,确保"看得到就能告警"。

核心要点

  • LLM 平台的可观测要分两层:组件活着(《系统健康监控巡检》)只是地基,token / 延迟 / 质量这三盏灯才是"服务还健不健康"的答案。
  • 三大 golden signal:token 流速与成本突增、P99 延迟、质量退化------均值掩盖长尾,P99 才反映真实体感。
  • 数据源在网关(唯一出口),聚合在监控,职责边界和《系统健康监控巡检》一致。
  • 质量不是"通不通"是"好不好",只能靠在线 eval + 用户反馈回路,不能靠探针。
  • 业务信号不是看完板,是驱动《系统健康监控巡检》告警与《自动操作回复与自愈闭环》自愈的处置动作。
相关推荐
张彦峰ZYF3 小时前
越过边界之前:Reward Seeker 实验如何改写智能体安全的时间逻辑
人工智能·ai agent·anthropic·智能体安全·reward seeker·“控制评价过程”泛化跨领域策略·envbom
夏文强8 小时前
Rerank 与混合检索:怎么让 RAG 从「能用」变成「好用」
人工智能·大模型·向量数据库·rag·检索增强生成
诺伦14 小时前
Manus 2.0 推出个人 Agent 平台 Cue:通用编排与垂类闭环,架构差在哪 | RiseClaw玄策
架构设计·ai agent·manus·agent编排·增长运营agent
小哈里15 小时前
【编译器】从计算机系统原理到 LLM 编译器与算子优化
大模型·编译器·1024程序员节·计算机系统原理·算子优化·推理平台
虎鲸不是鱼15 小时前
AI 自动化逆向(十七)解码器、反汇编器、反编译器:能力边界表
人工智能·自动化·大模型·逆向·ai逆向
天树星智源16 小时前
相机轨迹为什么对不上:问题不在控制模块,而在两段噪声不是同一份
论文阅读·机器人·大模型
Magicdata大数据16 小时前
AI辅助教学:调用大模型从教材中生成习题,方便学员练习
java·spring boot·大模型·知识图谱·neo4j·ai辅助教学
84869811917 小时前
RAGFlow v1.0 企业级 RAG 落地实录:从零部署到 RAGAS 评估闭环(全踩坑记录)
人工智能·大模型·rag·ragflow·ragas
一级新生1 天前
提示词工程:跟 AI 打交道的手艺
人工智能·大模型·dify·1024程序员节·提示词工程
光依旧1 天前
day-trader-skill实测:让Claude Code当交易助理,纯Python+确定性+fail-closed
python·量化交易·ai agent·a股·风控·claude code·开源项目实测