告警分级的自动化实测:模型判断 vs 人工拍板

深度实测系列第 12 篇。告警分级(P1~P4)历来是值班拍脑袋的活------同一条告警,两个人能定出两个级别。这次做了个实验:把 300 条历史告警交给「带校准概率的模型判断」和「三位工程师人工分级」同题对打,看自动化的成色到底几成。

**实验设计**

  • 样本:近三个月真实告警 300 条(含当时的最终定级作为基线)

  • 模型侧:算邻坊的智能决策接口(System One)------描述告警上下文(指标、影响面、时间),配置有序等级问题(P1~P4),返回级别+校准概率

  • 人工侧:三位值班工程师独立盲评(不给看历史定级)

  • 评分:与「事后复盘确认的合理定级」(金标准)的一致率

**结果一:与金标准的一致率**

| 评定方 | 完全一致率 | 相邻偏差率(差一级) |

|---|---|---|

| 工程师 A | 78% | 19% |

| 工程师 B | 71% | 26% |

| 工程师 C | 84% | 15% |

| 模型 | 76% | 22% |

模型落在三位工程师的中间------**不惊艳,但及格且稳定**。更有意思的数据在下两组。

**结果二:稳定性(同一告警重复评定)**

把 30 条告警在一周后重复评定:

  • 工程师:3 人平均每人对 4~6 条改了自己的原判(心情/疲劳影响)

  • 模型:改判 0 条(同输入同输出)

**自动化判断的第一价值不是更准,是不漂移**------分级标准跨时间跨人稳定,统计和考核才有意义。

**结果三:校准概率的成色**

这是本次实测最有价值的发现。模型的每个判断附 0~1 校准概率,实测它的可信度:

  • 模型自称把握 80%+ 的样本里,实际与金标准一致率 89%------**校准基本诚实**(说八成把握,实际八九成对)

  • 概率 60~80% 的样本,一致率 71%

  • 概率 <60% 的样本,一致率 54%------接近抛硬币

这个特性直接给了落地姿势:**设概率阈值自动放行高把握样本,低把握转人工**。按 0.8 阈值切:62% 的告警自动定级(一致率 89%),38% 转人工------**人工审校量减到四成以下,整体准确率反而比全员人工略高**(机器稳定处理了简单题,人专注难题)。

**实际部署的形态**

```

告警 → 上下文组装(指标+影响面+服务目录)

→ 模型分级(级别 + 校准概率)

→ p ≥ 0.8:自动定级入分诊队列

→ p < 0.8:标"建议 P2(把握 65%)"推人工一键确认

→ 每周:人工确认结果回填,作为下周复核样本

```

两周试运行的数据:平均分级时延从 4 分钟(人工找到人+判断)降到 40 秒,误定级(复盘追溯)2 起 vs 之前月均 3 起。

**边界与教训**

  • 模型在「新型告警」(历史上没见过的类型)上概率可信度下降------所以每周回填机制必须有,样本库是活水

  • 上下文质量决定上限:只给告警文本不给影响面,一致率掉到 63%------**喂得越全,判得越稳**

  • 不要用它做「是否需要立即打电话叫醒人」的最终裁决------那一步保留人工(分诊矩阵的四象限原则不变)

**结论**

分级自动化的正确预期:不是替代值班,是把「拍脑袋」变成「建议+一键确认」。校准概率是这类系统的灵魂------**敢说「这个我不确定」的自动化,才敢放进生产**。

实测系列持续。工具侧:模型判断用的是算邻坊智能决策(suanlinfang.cn?from=csdn-scrq-r2,按量计费),实验的完整告警样本与提示词模板在系列仓库。

(深度实测系列:错误类型学 → 术语库 → 字幕断句 → 计费行为 → 批量吞吐 → 机器味 → 回译 → 六方案横测 → 本文:告警分级)

相关推荐
伞伞悦读32 分钟前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
7177771 小时前
互联网企业研发平台推荐:从工具堆叠到一体化协同的选型逻辑
人工智能·gitee
立青.2 小时前
AI大模型术语
人工智能
qq_348231852 小时前
大模型算法: 反向传播
算法
电科_银尘2 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
专注仿真3 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
土豆12504 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
zhensherlock4 小时前
Protocol Launcher 系列:CodeHub 移动端 GitHub 协作利器
前端·javascript·typescript·node.js·自动化·github·js
leobertlan5 小时前
痛苦系列 | DSP-04 截断时空的“窗”:FIR 滤波器设计与线性相位
算法