探测规则:为什么它是告警规则的一种,而不是独立的任务体系

探测规则:为什么它是告警规则的一种,而不是独立的任务体系

Alioth 技术笔记 · 第 18 篇 · 探测 / 告警模型 仓库:github.com/aide-family... | 在线演示:web.alioth.asia/

导语

"网站能不能打开"和"CPU 是不是超过 90%"看起来是两件事:前者要发请求,后者要查指标。很多系统因此长出两套体系------探测任务 + 探测报告,和告警规则 + 告警事件。结果就是两套阈值判断、两套通知订阅、两套历史。Alioth 的选择是:探测只是告警规则的一种驱动。这篇讲这个选择怎么落地,以及它在执行、权限和事件收敛上带来的具体约束。

一、同一个模型,两种载荷

规则表里既有 driver(METRICS_*、LOGS_*),也有 PROBE_*。保存时分两条路走,但先把对方的字段清干净:

go 复制代码
if bo.IsProbeDriver(in.Driver) {
    return rulebook.prepareProbe(ctx, namespaceUID, in)
}
// 查询规则不使用探测字段,保存时归一,避免驱动切换后残留旧配置。
in.ProbeGroupLabels = "{}"
in.ProbeIntervalSeconds = 0
in.ProbeMetric = bo.ProbeMetricUp

反过来,prepareProbe 里也有:

go 复制代码
// 探测规则没有查询表达式,也不匹配数据源。
in.Expr = ""
in.DatasourceLabels = "{}"

这两段"互清零"是同一个模型承载两种载荷的关键。缺了它,用户把规则从 Prometheus 改成 HTTP 探测后,旧表达式会留在表里,评测器可能按残留字段做出难以解释的行为。归一化不是清洁癖,是把不可能的状态在写入时就消灭掉。

二、周期是枚举,指标按驱动限死

go 复制代码
switch in.ProbeIntervalSeconds {
case 15, 30, 60, 300:
default:
    return merr.Invalid("invalid probe interval")
}

周期只允许四档。原因很实际:探测是主动发请求,用户如果填 1 秒,一台机器就能把自己的站点打挂;填 86400 秒,告警会毫无意义。四档覆盖了从"核心接口"到"边缘站点"的常见需求,也把 QPS 控制在可估算的范围内。

观测指标同样按驱动白名单:

驱动 可用指标
HTTP UP、LATENCY_MS、STATUS_CODE、CERT_DAYS、DNS_MS、TCP_CONNECT_MS、TLS_MS、TTFB_MS
TCP UP、LATENCY_MS、DNS_MS、TCP_CONNECT_MS
ICMP UP、LATENCY_MS、PACKET_LOSS、JITTER_MS、MIN_RTT_MS、MAX_RTT_MS
DNS UP、LATENCY_MS、DNS_MS、ANSWER_COUNT
TLS UP、LATENCY_MS、DNS_MS、TCP_CONNECT_MS、TLS_MS、CERT_DAYS

注释写得很直白:"TCP / ICMP 没有状态码与证书,只能用 UP 与 LATENCY_MS"。允许用户为 ICMP 规则选 STATUS_CODE,只会得到一个永远为 0 的采样,然后产生一条永远不触发的规则。

三、执行:按目标加锁,一组探完再回写

探测跑在 megrez 里,和评测 worker 并列,5 秒一轮:

go 复制代码
tasks, err := w.gateway.ClaimProbeTasks(ctx, "CLUSTER")
...
hold, err := w.locks.Acquire(ctx, lockKey(target.UID, task.Slot), probeLockTTL)
if err != nil {
    if errors.Is(err, lock.ErrNotAcquired) {
        continue   // 别的副本正在探这个目标,本轮跳过
    }
}

锁的粒度是单个目标 + 时间槽,不是整个规则。一条规则可能匹配上百个目标,如果按规则加锁,一个慢目标会拖住整批;按目标加锁之后,多副本可以并行分摊,单个目标失败也只影响它自己。

一轮结束后统一回写:

go 复制代码
return w.gateway.ReportProbeResults(ctx, bo.ProbeReport{
    RuleUID: task.Rule.UID, Slot: task.Slot, Results: results,
})

Slot 是幂等键:同一槽位重复回写不会产生重复事件(和第 06 篇的评测批次是同一套思路)。

四、执行器只负责"测",判定在控制面

go 复制代码
// 判定在玉衡,执行器不解析级别条件。

这句话解释了为什么探测能复用告警模型:execute 只产出 {目标, 指标值, 耗时, 错误},级别比较、FOR 持续、告警指纹全在控制面用同一套代码完成。所以一条 HTTP 探测规则可以写"连续 3 分钟 STATUS_CODE != 200 就告警",而一条 Prometheus 规则写"连续 3 分钟 up == 0"------两条规则的实现路径完全一致,订阅、抑制、OnCall 也不需要为探测单独实现一遍。

五、探不了 ≠ 目标挂了

这是探测里最容易造成误告警的地方:

go 复制代码
if outcome.ErrorKind == probesdk.ErrorPermission {
    // 执行器自身故障(目前只有缺少 ICMP 权限):不回写结果,
    // 免得把「探不了」当成目标不可用。
    continue
}

ICMP 需要非特权 ping socket(net.ipv4.ping_group_range)或 CAP_NET_RAW。容器没给权限时,ping 直接失败------如果把这个失败当成"目标不可达",整个机房会在部署完探测功能的第一分钟集体告警。所以这类错误只记日志、不回写 ,reportable=false,页面上也不会出现一条假的故障事件。

同理,超时上限由服务端配置兜底:maxTimeoutMS 会把用户填的超时压到上限之内,避免一个 600 秒的探测把整轮拖死。

六、目标归一化与拒绝网段

不同驱动接受的目标格式不同,统一入口是 NormalizeTarget:HTTP 只接受 http/https,去掉 userinfo、默认端口与片段(但保留路径与查询串 ,因为不同查询串是不同的观测对象);TCP/TLS 只接受 host:port;ICMP 只接受主机名或 IP;DNS 只接受域名。

更值得注意的是拒绝名单:

go 复制代码
// blockedNetworks 是探测默认拒绝的网段:云厂商元数据地址、链路本地与组播。
// 私网地址默认允许------内网探活是探测的主要用途。
var blockedNetworks = []*net.IPNet{
    mustCIDR("169.254.0.0/16"),   // 云元数据
    mustCIDR("fe80::/10"),
    mustCIDR("ff00::/8"),
    mustCIDR("224.0.0.0/4"),
}

私网默认放行是必须的(内网探活是主要场景),但 169.254.169.254 这类地址必须挡------否则任何一个能配探测规则的租户,都能让平台替他请求云元数据接口,把实例凭据带出来。注释也诚实地说明了边界:只在字面地址上拦截,DNS 解析后不做二次校验。

七、事件收敛:探测没有数据源

查询规则的事件按"数据源"收敛,探测规则没有数据源,收敛靠目标标签:

go 复制代码
labels := map[string]string{"probe_group": row.Name}

固定键 probe_group 存目标组名,目标组自己的标签摊平进来。applyHitsScoped 的 scope 函数据此判断"哪些现有事件属于本次汇报范围"------范围外的不会被误恢复。少了这层,A 目标组的探测结果可能把 B 目标组正在触发的事件恢复掉。

八、怎么验证

pkg/probe 下每个驱动都有测试(http 断言、tcp、icmp、dns、tls 的证书天数与 SNI);app/megrez/internal/biz/probe/executor_test.go 覆盖了"缺权限不回写"这条分支。手工验证:

bash 复制代码
git clone https://github.com/aide-family/moon.git && cd moon
make dev-up
open http://127.0.0.1:8080

建一个 HTTP 目标组指向 https://web.alioth.asia/,再建一条探测规则,指标选 STATUS_CODE、条件 NE 200、持续 60 秒。把目标改成一个 404 路径,一分钟后应该出现事件;再把指标改成 CERT_DAYS、条件 LT 30 并指向一个证书快过期的站点,观察事件是否按同一套订阅发出通知。

结语

把探测做成告警规则的一种驱动,最大的收益不是少写代码,而是让"探测"和"指标"共享同一套身份、阈值、抑制和通知语义。代价是模型里多了一批必须互斥的字段,以及执行器里那几条"探不了 ≠ 挂了"的判断。后者尤其重要:监控系统最怕的不是漏报一次,而是把环境问题报成业务故障,让所有人开始怀疑告警本身。


下一篇:状态页与 SLA------对外承诺是怎么算出来的。

相关推荐
未来之窗软件服务12 分钟前
API接口安全与合作商业秘密架构-东方仙盟
安全·架构·接口安全·仙盟创梦ide·东方仙盟·终端架构
一条Go17 分钟前
开源新生代雷达 · 第 17 期
github
怕浪猫27 分钟前
2026 GitHub 最火的 10 个视频制作与剪辑开源项目:AI 出片、代码生视频、无损剪辑怎么选(附实测截图)
github
TiDB 社区干货传送门2 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
mysql·架构·tidb
码事漫谈11 小时前
当公司不久后变成冒险者公会,我担心什么
后端
Csvn12 小时前
Nginx 负载均衡进阶与健康检查:哈希、keepalive 池与 DNS 自愈
后端·nginx
皮皮林55113 小时前
京东又开源一款新框架,用起来真优雅!
后端
学长毕设13 小时前
基于SpringBoot智慧养老服务平台设计与实现-附源码
java·spring boot·后端