探测规则:为什么它是告警规则的一种,而不是独立的任务体系
Alioth 技术笔记 · 第 18 篇 · 探测 / 告警模型 仓库:github.com/aide-family... | 在线演示:web.alioth.asia/
导语
"网站能不能打开"和"CPU 是不是超过 90%"看起来是两件事:前者要发请求,后者要查指标。很多系统因此长出两套体系------探测任务 + 探测报告,和告警规则 + 告警事件。结果就是两套阈值判断、两套通知订阅、两套历史。Alioth 的选择是:探测只是告警规则的一种驱动。这篇讲这个选择怎么落地,以及它在执行、权限和事件收敛上带来的具体约束。
一、同一个模型,两种载荷
规则表里既有 driver(METRICS_*、LOGS_*),也有 PROBE_*。保存时分两条路走,但先把对方的字段清干净:
go
if bo.IsProbeDriver(in.Driver) {
return rulebook.prepareProbe(ctx, namespaceUID, in)
}
// 查询规则不使用探测字段,保存时归一,避免驱动切换后残留旧配置。
in.ProbeGroupLabels = "{}"
in.ProbeIntervalSeconds = 0
in.ProbeMetric = bo.ProbeMetricUp
反过来,prepareProbe 里也有:
go
// 探测规则没有查询表达式,也不匹配数据源。
in.Expr = ""
in.DatasourceLabels = "{}"
这两段"互清零"是同一个模型承载两种载荷的关键。缺了它,用户把规则从 Prometheus 改成 HTTP 探测后,旧表达式会留在表里,评测器可能按残留字段做出难以解释的行为。归一化不是清洁癖,是把不可能的状态在写入时就消灭掉。
二、周期是枚举,指标按驱动限死
go
switch in.ProbeIntervalSeconds {
case 15, 30, 60, 300:
default:
return merr.Invalid("invalid probe interval")
}
周期只允许四档。原因很实际:探测是主动发请求,用户如果填 1 秒,一台机器就能把自己的站点打挂;填 86400 秒,告警会毫无意义。四档覆盖了从"核心接口"到"边缘站点"的常见需求,也把 QPS 控制在可估算的范围内。
观测指标同样按驱动白名单:
| 驱动 | 可用指标 |
|---|---|
| HTTP | UP、LATENCY_MS、STATUS_CODE、CERT_DAYS、DNS_MS、TCP_CONNECT_MS、TLS_MS、TTFB_MS |
| TCP | UP、LATENCY_MS、DNS_MS、TCP_CONNECT_MS |
| ICMP | UP、LATENCY_MS、PACKET_LOSS、JITTER_MS、MIN_RTT_MS、MAX_RTT_MS |
| DNS | UP、LATENCY_MS、DNS_MS、ANSWER_COUNT |
| TLS | UP、LATENCY_MS、DNS_MS、TCP_CONNECT_MS、TLS_MS、CERT_DAYS |
注释写得很直白:"TCP / ICMP 没有状态码与证书,只能用 UP 与 LATENCY_MS"。允许用户为 ICMP 规则选 STATUS_CODE,只会得到一个永远为 0 的采样,然后产生一条永远不触发的规则。
三、执行:按目标加锁,一组探完再回写
探测跑在 megrez 里,和评测 worker 并列,5 秒一轮:
go
tasks, err := w.gateway.ClaimProbeTasks(ctx, "CLUSTER")
...
hold, err := w.locks.Acquire(ctx, lockKey(target.UID, task.Slot), probeLockTTL)
if err != nil {
if errors.Is(err, lock.ErrNotAcquired) {
continue // 别的副本正在探这个目标,本轮跳过
}
}
锁的粒度是单个目标 + 时间槽,不是整个规则。一条规则可能匹配上百个目标,如果按规则加锁,一个慢目标会拖住整批;按目标加锁之后,多副本可以并行分摊,单个目标失败也只影响它自己。
一轮结束后统一回写:
go
return w.gateway.ReportProbeResults(ctx, bo.ProbeReport{
RuleUID: task.Rule.UID, Slot: task.Slot, Results: results,
})
Slot 是幂等键:同一槽位重复回写不会产生重复事件(和第 06 篇的评测批次是同一套思路)。
四、执行器只负责"测",判定在控制面
go
// 判定在玉衡,执行器不解析级别条件。
这句话解释了为什么探测能复用告警模型:execute 只产出 {目标, 指标值, 耗时, 错误},级别比较、FOR 持续、告警指纹全在控制面用同一套代码完成。所以一条 HTTP 探测规则可以写"连续 3 分钟 STATUS_CODE != 200 就告警",而一条 Prometheus 规则写"连续 3 分钟 up == 0"------两条规则的实现路径完全一致,订阅、抑制、OnCall 也不需要为探测单独实现一遍。
五、探不了 ≠ 目标挂了
这是探测里最容易造成误告警的地方:
go
if outcome.ErrorKind == probesdk.ErrorPermission {
// 执行器自身故障(目前只有缺少 ICMP 权限):不回写结果,
// 免得把「探不了」当成目标不可用。
continue
}
ICMP 需要非特权 ping socket(net.ipv4.ping_group_range)或 CAP_NET_RAW。容器没给权限时,ping 直接失败------如果把这个失败当成"目标不可达",整个机房会在部署完探测功能的第一分钟集体告警。所以这类错误只记日志、不回写 ,reportable=false,页面上也不会出现一条假的故障事件。
同理,超时上限由服务端配置兜底:maxTimeoutMS 会把用户填的超时压到上限之内,避免一个 600 秒的探测把整轮拖死。
六、目标归一化与拒绝网段
不同驱动接受的目标格式不同,统一入口是 NormalizeTarget:HTTP 只接受 http/https,去掉 userinfo、默认端口与片段(但保留路径与查询串 ,因为不同查询串是不同的观测对象);TCP/TLS 只接受 host:port;ICMP 只接受主机名或 IP;DNS 只接受域名。
更值得注意的是拒绝名单:
go
// blockedNetworks 是探测默认拒绝的网段:云厂商元数据地址、链路本地与组播。
// 私网地址默认允许------内网探活是探测的主要用途。
var blockedNetworks = []*net.IPNet{
mustCIDR("169.254.0.0/16"), // 云元数据
mustCIDR("fe80::/10"),
mustCIDR("ff00::/8"),
mustCIDR("224.0.0.0/4"),
}
私网默认放行是必须的(内网探活是主要场景),但 169.254.169.254 这类地址必须挡------否则任何一个能配探测规则的租户,都能让平台替他请求云元数据接口,把实例凭据带出来。注释也诚实地说明了边界:只在字面地址上拦截,DNS 解析后不做二次校验。
七、事件收敛:探测没有数据源
查询规则的事件按"数据源"收敛,探测规则没有数据源,收敛靠目标标签:
go
labels := map[string]string{"probe_group": row.Name}
固定键 probe_group 存目标组名,目标组自己的标签摊平进来。applyHitsScoped 的 scope 函数据此判断"哪些现有事件属于本次汇报范围"------范围外的不会被误恢复。少了这层,A 目标组的探测结果可能把 B 目标组正在触发的事件恢复掉。
八、怎么验证
pkg/probe 下每个驱动都有测试(http 断言、tcp、icmp、dns、tls 的证书天数与 SNI);app/megrez/internal/biz/probe/executor_test.go 覆盖了"缺权限不回写"这条分支。手工验证:
bash
git clone https://github.com/aide-family/moon.git && cd moon
make dev-up
open http://127.0.0.1:8080
建一个 HTTP 目标组指向 https://web.alioth.asia/,再建一条探测规则,指标选 STATUS_CODE、条件 NE 200、持续 60 秒。把目标改成一个 404 路径,一分钟后应该出现事件;再把指标改成 CERT_DAYS、条件 LT 30 并指向一个证书快过期的站点,观察事件是否按同一套订阅发出通知。
结语
把探测做成告警规则的一种驱动,最大的收益不是少写代码,而是让"探测"和"指标"共享同一套身份、阈值、抑制和通知语义。代价是模型里多了一批必须互斥的字段,以及执行器里那几条"探不了 ≠ 挂了"的判断。后者尤其重要:监控系统最怕的不是漏报一次,而是把环境问题报成业务故障,让所有人开始怀疑告警本身。
下一篇:状态页与 SLA------对外承诺是怎么算出来的。