深度实测系列第 12 篇。告警分级（P1~P4）历来是值班拍脑袋的活------同一条告警，两个人能定出两个级别。这次做了个实验：把 300 条历史告警交给「带校准概率的模型判断」和「三位工程师人工分级」同题对打，看自动化的成色到底几成。
**实验设计**
-
样本：近三个月真实告警 300 条（含当时的最终定级作为基线）
-
模型侧：算邻坊的智能决策接口（System One）------描述告警上下文（指标、影响面、时间），配置有序等级问题（P1~P4），返回级别+校准概率
-
人工侧：三位值班工程师独立盲评（不给看历史定级）
-
评分：与「事后复盘确认的合理定级」（金标准）的一致率
**结果一：与金标准的一致率**
| 评定方 | 完全一致率 | 相邻偏差率（差一级） |
|---|---|---|
| 工程师 A | 78% | 19% |
| 工程师 B | 71% | 26% |
| 工程师 C | 84% | 15% |
| 模型 | 76% | 22% |
模型落在三位工程师的中间------**不惊艳，但及格且稳定**。更有意思的数据在下两组。
**结果二：稳定性（同一告警重复评定）**
把 30 条告警在一周后重复评定：
-
工程师：3 人平均每人对 4~6 条改了自己的原判（心情/疲劳影响）
-
模型：改判 0 条（同输入同输出）
**自动化判断的第一价值不是更准，是不漂移**------分级标准跨时间跨人稳定，统计和考核才有意义。
**结果三：校准概率的成色**
这是本次实测最有价值的发现。模型的每个判断附 0~1 校准概率，实测它的可信度：
-
模型自称把握 80%+ 的样本里，实际与金标准一致率 89%------**校准基本诚实**（说八成把握，实际八九成对）
-
概率 60~80% 的样本，一致率 71%
-
概率 <60% 的样本，一致率 54%------接近抛硬币
这个特性直接给了落地姿势：**设概率阈值自动放行高把握样本，低把握转人工**。按 0.8 阈值切：62% 的告警自动定级（一致率 89%），38% 转人工------**人工审校量减到四成以下，整体准确率反而比全员人工略高**（机器稳定处理了简单题，人专注难题）。
**实际部署的形态**
```
告警 → 上下文组装（指标+影响面+服务目录）
→ 模型分级（级别 + 校准概率）
→ p ≥ 0.8：自动定级入分诊队列
→ p < 0.8：标"建议 P2（把握 65%）"推人工一键确认
→ 每周：人工确认结果回填，作为下周复核样本
```
两周试运行的数据：平均分级时延从 4 分钟（人工找到人+判断）降到 40 秒，误定级（复盘追溯）2 起 vs 之前月均 3 起。
**边界与教训**
-
模型在「新型告警」（历史上没见过的类型）上概率可信度下降------所以每周回填机制必须有，样本库是活水
-
上下文质量决定上限：只给告警文本不给影响面，一致率掉到 63%------**喂得越全，判得越稳**
-
不要用它做「是否需要立即打电话叫醒人」的最终裁决------那一步保留人工（分诊矩阵的四象限原则不变）
**结论**
分级自动化的正确预期：不是替代值班，是把「拍脑袋」变成「建议+一键确认」。校准概率是这类系统的灵魂------**敢说「这个我不确定」的自动化，才敢放进生产**。
实测系列持续。工具侧：模型判断用的是算邻坊智能决策（suanlinfang.cn?from=csdn-scrq-r2，按量计费），实验的完整告警样本与提示词模板在系列仓库。
（深度实测系列：错误类型学 → 术语库 → 字幕断句 → 计费行为 → 批量吞吐 → 机器味 → 回译 → 六方案横测 → 本文：告警分级）