2026 年 11 月
目 录
[第一章 一次冷启动引发的复盘:全绿的探针,挂掉的业务](#第一章 一次冷启动引发的复盘:全绿的探针,挂掉的业务)
[1.1 三级监控模型:进程、服务、业务](#1.1 三级监控模型:进程、服务、业务)
[1.2 升级方案:三件套](#1.2 升级方案:三件套)
[第二章 实现一:业务 Service 空后端检测](#第二章 实现一:业务 Service 空后端检测)
[2.1 问题定义:Pod 活着,服务死了](#2.1 问题定义:Pod 活着,服务死了)
[2.2 误报治理:四类排除](#2.2 误报治理:四类排除)
[2.3 落到探针里](#2.3 落到探针里)
[第三章 实现二:Ingress 业务入口探活](#第三章 实现二:Ingress 业务入口探活)
[3.1 为什么这条检查必须「站在集群外面」](#3.1 为什么这条检查必须「站在集群外面」)
[3.2 状态码语义:怎么算活,怎么算死](#3.2 状态码语义:怎么算活,怎么算死)
[3.3 一个实现小坑:花括号打架](#3.3 一个实现小坑:花括号打架)
[第四章 实现三:给监控自己上一道防线](#第四章 实现三:给监控自己上一道防线)
[4.1 最危险的盲区是「监控静默失败」](#4.1 最危险的盲区是「监控静默失败」)
[4.2 设计:失败去抖,恢复窗口](#4.2 设计:失败去抖,恢复窗口)
[4.3 全部告警共用的一套纪律](#4.3 全部告警共用的一套纪律)
[第五章 真机验证:故障演练与一次意外的加分](#第五章 真机验证:故障演练与一次意外的加分)
[5.1 一分钟的故障演练](#5.1 一分钟的故障演练)
[5.2 意外的加分:探针先于我发现了真故障](#5.2 意外的加分:探针先于我发现了真故障)
[5.3 踩坑实录](#5.3 踩坑实录)
[第六章 收个尾:监控的「业务级」到底是什么](#第六章 收个尾:监控的「业务级」到底是什么)
第一章 一次冷启动引发的复盘:全绿的探针,挂掉的业务
这个系列的第 3 篇讲过值守监测,第 9 篇讲了状态面板。到了本篇,值守体系里的 K8s 探针已经跑了两个多月,管着一套 9 节点的生产级高可用集群(3 Master + 3 Worker + 2 LB + Harbor)。它每 30 秒干三类事:逐台检查节点的 systemd 服务(kubelet、containerd、haproxy、keepalived、docker),集群级看 Node 状态和异常 Pod,LB 节点上探 API Server 的 healthz。按传统标准,这套探针已经算「服务级别」了------进程活着、节点活着、控制面活着,都在它眼皮底下。
直到某天早上我把整套集群关机再开机,探针全绿,我用浏览器打开跑在集群里的业务站点------打不开。顺着查下去,问题比想象中扎心:
- 9 台节点 systemd 服务全部 active,探针视角:一切正常;
- 集群级 Node 全部 Ready、异常 Pod 只有 1 个 Pending,探针视角:还是正常;
- API Server healthz 返回 ok,探针视角:依然正常;
- 但 ingress-nginx 控制器的 Pod 整个不在了,业务入口 VIP 的 80 端口连接都建立不起来------集群对外是一片死寂,而我的探针从头到尾没有说过一个字的坏话。
复盘的时候我把这件事想明白了:探针检查的是「零件」,业务走的是「装配线」。kubelet 活着不代表 Pod 调度正常,Node Ready 不代表 Service 有可用后端,API Server 健康不代表业务入口通。这三层之间的缝隙,恰恰是最容易出事故、也最难被发现的地方------因为每一层的监控都在说「我很好」。
1.1 三级监控模型:进程、服务、业务
把这次复盘的结论抽象出来,容器集群的监控可以分成三级,每一级能看见什么、看不见什么,值得掰开了讲:
|------------|-------------------------------------------|-------------------|---------------------------|
| 层级 | 检查对象 | 能发现 | 发现不了 |
| 进程级 | systemd 服务(kubelet/containerd/haproxy...) | 组件进程挂掉 | 组件活着但功能异常 |
| 集群控制面级 | Node 状态、Pod 状态、API Server healthz | 节点宕机、Pod 异常、控制面失联 | Pod Running 但服务不可用、业务入口断了 |
| 业务服务级(本篇) | Service 后端、Ingress 入口、采集链路自身 | 空后端、入口不通、监控盲区 | ------ |
第三级就是我这次要补的东西。所谓「从服务级升级到业务级」,核心是回答三个业务视角的问题:一个 Service 声明了要接流量,它后面到底有没有活人接?流量从外面进来,入口这条路通不通?以及一个更哲学的问题------如果负责看门的东西自己瞎了,谁知道?
1.2 升级方案:三件套
目标定了,方案收敛成三件套,全部塞进现有的 K8s 探针,不加新的采集通道、不增加额外 SSH 连接:
- 业务 Service 空后端检测:在 Master 上执行一条命令,找出「声明了 selector 却没有任何可用后端」的 Service------Pod 显示 Running 但服务实际没人接的经典故障,一抓一个准;
- Ingress 业务入口探活:在 LB 节点上用 curl 直接探业务入口(keepalived VIP 的 80 端口),配置了 ingress_url 就探配置值------这是整个体系里唯一一个「站在集群外面看集群」的检查;
- 采集链路告警:kubectl 采集失败不再静默跳过,连续失败就告警,恢复后补一条恢复通知------监控自己瞎了也得喊出来。
三件套全部实现后,测试套件新增十余项断言全过,并在那套 9 节点真机上完成了完整的故障演练。后面几章逐个拆开讲实现与踩坑。
第二章 实现一:业务 Service 空后端检测
2.1 问题定义:Pod 活着,服务死了
K8s 里一个很容易被忽略的事实:Pod 状态和 Service 可用性是两码事。Deployment 滚动更新卡住、readiness 探针失败、副本被误缩到零------这些场景下 Pod 可能还在 Running(或者干脆没了),Service 的 endpoints 列表却是空的。流量进来,kube-proxy 找不到任何一个后端,连接直接被拒。从监控视角看,这是一次「零件全好、装配线断电」的故障:节点绿、Pod 绿、服务死。
要在 Master 上发现它,命令本身很简单:
列出全部命名空间的 Service 后端
kubectl get endpoints -A --no-headers
没有后端的 Service,ENDPOINTS 列会显示 <none>
app-web myweb-svc <none> 2h
kube-system kube-dns 10.244.0.5:53 4d
难点不在发现,在判定。「endpoints 是 none」远不等于「服务故障」,直接照单全收会产生海量误报------我在真机上第一次跑,就「收获」了九个故障 Service,实际上集群好好的。
2.2 误报治理:四类排除
逐个分析那些「假故障」,可以归成四类,每一类都必须显式排除:
|----------------------|------------------------------------------------------|-----------------------------------------------|
| 误报来源 | 为什么不是故障 | 排除方式 |
| kube 预留命名空间 | kube-system 等是平台自己的地盘,其服务由集群自身保障 | 命名空间黑名单直接跳过 |
| 无 selector 的 Service | 转发给外部数据库、或者纯粹是 admission webhook 的占位,天然没有 endpoints | 与 svc -o wide 的 SELECTOR 列做联合:没配 selector 的不算 |
| 系统 webhook 服务 | ingress-nginx 的 admission 校验服务等,机制上就不需要常驻后端 | 按 -admission、-webhook 后缀跳过 |
| kubectl 提示行 | 新版本 kubectl 会输出 Endpoints 已废弃的 Warning,混进数据里会被当成一行记录 | 解析时丢弃 Warning: 开头的行 |
处理完四类排除,判定标准就变得干净利落:**一个 Service 配了 selector,endpoints 却是 none,才算业务故障**。这一条联合解析是整个检测的核心,也是它和「无脑报 none」的粗糙实现的本质区别。
2.3 落到探针里
探针侧的实现只需要两个采集动作加一次集合运算:
采集一:endpoints 全量
kubectl get endpoints -A --no-headers 2>&1
采集二:svc 全量(-o wide 才带 SELECTOR 列)
kubectl get svc -A -o wide --no-headers 2>&1
把采集二里有 selector 的 Service 名字收进集合,再用这个集合过滤采集一的结果:命名空间不在黑名单、名字不带 webhook 后缀、有 selector、endpoints 是 none------四个条件同时成立才计入故障列表。告警消息会带上具体的服务名和数量,例如「业务 Service 空后端 2 个:app-web/myweb-svc、monitor/pushgw」。恢复判定沿用值守体系现成的去抖机制:故障清零并保持若干轮之后,推一条恢复通知,告警和恢复成对出现,不会刷屏也不会漏报。
第三章 实现二:Ingress 业务入口探活
3.1 为什么这条检查必须「站在集群外面」
第二章解决的是「Service 后面有没有人」,还有一个更靠外的问题:流量从用户那边进来,第一道门通不通。我的集群入口是一条标准链路:用户访问 keepalived 漂移出来的 VIP(80 端口),HAProxy 把流量分发给三台 Worker 的 NodePort,NodePort 后面是 ingress-nginx 控制器,再往后才是业务 Ingress 规则。这条链路上任何一环断了,表现都是一样的------用户打不开站点------但集群内部的任何一层监控都默认不会碰这条链:API Server 的 healthz 只反映控制面,Node 状态只反映节点本身。
所以要补一条真正「站在用户视角」的检查:在 LB 节点上,像用户一样对业务入口发一个 HTTP 请求。位置就选在 LB------它本身就是入口链路的第一跳,从这里探 VIP 不需要出机房,延迟低且不依赖任何集群内组件。
3.2 状态码语义:怎么算活,怎么算死
这条探活最容易做错的地方是「怎么算成功」。很多人第一反应是 HTTP 200 才算活------这恰恰是错的,而且是那种「上线时测得好好的、关键时刻掉链子」的错:
- 入口后面暂时没有业务,ingress-nginx 的默认后端会返回 404------入口控制器活得好好的,只是没挂业务;
- 业务后端全挂,控制器可能返回 503------至少说明入口这一跳是通的,问题在更里面一层;
- HAProxy 自身故障时可能直接回一个错误页------状态码五花八门,但 TCP 和 HTTP 都在响应。
对「业务入口探活」这个定位来说,以上全都算活。真正要抓的只有一种情况:连接本身建立不起来------端口没人监听、VIP 漂移失败、防火墙拦截。curl 对这类失败会输出一个特殊的状态码 000。所以判定规则收敛成一句话:**拿到任何一个数字状态码都算活,只有 000 算死**。
在 LB 节点上探业务入口,-w 取状态码,--max-time 防挂死
curl -sk -o /dev/null -w '%{http_code}' --max-time 8 http://10.10.10.60 2>&1
200/404/503 = 入口活(拿到响应了)
000 = 连接失败(这才是要告警的)
3.3 一个实现小坑:花括号打架
这条命令写进探针时踩了一个不大不小的坑:curl 的 -w 参数里有一个花括号,而探针代码里这条命令恰好要经过一次字符串模板格式化------模板语法里的花括号和 curl 的花括号撞车了,格式化时直接报「找不到变量 http_code」。解法很朴素:把模板里属于字面量的花括号双写转义,属于占位符的单写。这种坑单个看都不难,难的是它失败得非常安静------不转义的话,探针会一直探一个不存在的地址然后永远返回失败,所以写完必须跑一遍真实的采集再上线。
入口地址本身也做了两层兜底:优先读主机配置里的 ingress_url(适合入口不挂 VIP 的场景),没配就自动从 LB 上解析 keepalived 的 VIP 再拼 80 端口。探活结果和 API Server 检查并列展示在值守引擎的状态输出里,坏了报、好了报恢复,语义与其它检查完全一致。
第四章 实现三:给监控自己上一道防线
4.1 最危险的盲区是「监控静默失败」
前两件套盯的是集群,第三件套盯的是探针自己。原实现里有一个我复盘时越想越后怕的逻辑:kubectl 采集失败(SSH 异常、节点上 kubectl 配置丢失、API 短暂不可达)时,返回空值然后**静默跳过这一项检查**。设计初衷是好的------避免把「采不到」误报成「有故障」,宁可漏报不误报。
但漏报的代价被严重低估了。设想某天 Master 上的 kubectl 配置文件被误删:从那一刻起,集群级检查整体失明,而探针依然每晚全绿------systemd 服务检查还在兜底,所以没有任何异常迹象。这不是假想的攻击或灾难,一次误操作就够。监控系统的第一戒律是不说谎,第二戒律是不能闭嘴;原来的实现违反了第二条。
4.2 设计:失败去抖,恢复窗口
修复的思路是把「采不到」从静默升级为一种需要观察的状态:
- 单轮失败不吭声------可能是网络抖动,不值得打扰人;
- 节点状态和 Pod 状态**同一轮双双失败**,且连续两轮如此,推一条告警:「kubectl 连续 2 轮采集失败,节点与 Pod 均不可得」------双失败条件把「单条命令偶发超时」和「采集链路真断了」区分开;
- 恢复不能抢跑:链路恢复后不能立刻报恢复,要连续三轮确认采集正常,才补一条恢复通知------和故障侧的去抖对称,防止「抖一下、响两次」。
这里有一个实现层的细节值得单独说:恢复窗口怎么「凑轮数」。恢复判定要求连续三轮健康数据,但采集恢复正常之后,探针不会再为健康状态产出任何指标------没有数据,判定器就无从累计「健康了几轮」。解法是在恢复窗口期内,让引擎主动吐出「空故障列表」的指标作为健康凭证,凑满三轮后窗口关闭,恢复通知落地,探针回到静默常态。整个状态流转是:静默 → 失败计数 → 告警 → 恢复窗口 → 恢复通知 → 静默。
4.3 全部告警共用的一套纪律
熟悉这个系列前几篇的读者应该看得出来,这套「脏轮去抖 + 净轮恢复」的纪律不是为这次升级新发明的------节点检查、Pod 检查、服务检查用的都是同一套机制。这次把采集链路也纳入同一纪律,好处是实现代码几乎零新增:一个判定器、一套去抖参数、一种告警格式,三种新检查全部复用。监控代码最怕的就是每种检查一套私货,参数各调各的;统一纪律既是可维护性,也是行为可预期性。
第五章 真机验证:故障演练与一次意外的加分
5.1 一分钟的故障演练
三件套写完,先在 9 节点真机上做了一轮无侵入验证:正常状态下,业务 Service 空后端零误报(对比未做联合解析时的九个「假故障」),入口探活拿到正常状态码,采集链路静默。然后做一次可回滚的故障注入------用一条命令凭空造出一个永远空后端的 Service:
造一个没有后端的 Service(clusterip 类型,selector 指向不存在的应用)
kubectl create service clusterip svc-probe-drill --tcp=80:80
观察告警后,清理现场
kubectl delete service svc-probe-drill
结果:创建后不到一个采集周期(30 秒),告警准确点名「业务 Service 空后端 1 个:default/svc-probe-drill」;删除并等待恢复窗口之后,恢复通知如约而至。从注入到恢复闭环,全程一分钟,没有碰集群里任何真实业务。
5.2 意外的加分:探针先于我发现了真故障
更有说服力的是第二次真机验证时发生的「意外」。那天我把集群开机后直接跑探针复测,结果入口探活告警了------VIP 的 80 端口连接失败。我第一反应是探针误报,手动上 LB 排查,发现这次它报得完全正确:ingress-nginx 控制器的 Pod 在这次冷启动后整个没起来(namespace 里一个资源都没有),Worker 的 NodePort 无监听,业务入口实际处于瘫痪状态。
也就是说,如果按原来的探针体系,这次冷启动后的集群会继续「全绿」到我哪天想访问业务时才发现入口是死的。升级后的探针把这个真实故障抓了出来,而且是在我本人都没察觉的情况下。给探针补监控,结果探针先补了我一刀------这是这次升级里我最满意的一个瞬间。
5.3 踩坑实录
照例把这轮踩过的坑留给后来人,每个都附一句解法:
|--------------------|------------------------------------------------------------------|--------------------------------------------|
| 坑 | 现象 | 解法 |
| cordon 状态误报 | 节点被 cordoned 后状态列变成 Ready,SchedulingDisabled,按「完全等于 Ready」判定会报异常 | 就绪判定改为「以 Ready 开头」,cordoned 不算故障 |
| kubectl Warning 污染 | deprecated 提示行混进采集数据被当成记录解析 | 解析层统一丢弃 Warning: 开头的行 |
| endpoints 误报泛滥 | 无脑报 none 首轮收获九个「假故障」 | svc selector 联合 + 命名空间黑名单 + webhook 后缀三重排除 |
| curl 花括号与模板语法打架 | 格式化时报「找不到变量 http_code」 | 模板中字面量花括号双写转义 |
| 恢复通知永远不来 | 健康后不再产出指标,恢复判定无从累计轮数 | 恢复窗口内主动吐空故障列表作为健康凭证,凑满三轮再落地 |
第六章 收个尾:监控的「业务级」到底是什么
这次升级做完,我的值守体系对 K8s 集群的覆盖终于穿过了最后一条缝隙。回顾整个升级过程,其实就干了三件事:把「Service 有没有人接流量」查清楚(endpoints 空后端),把「用户进来的门」摸一遍(Ingress 入口探活),把「探针自己有没有瞎」管起来(采集链路告警)。每一件单独拿出来都不复杂------加起来也就两个采集命令、一个 curl、一套去抖状态机------但它们补的正是三级监控模型里最贵的那一级:业务级。
这一级为什么贵?因为前两级的「正常」是客观的、可枚举的(进程活着、节点 Ready),而业务级的「正常」是主观的、要定义的------什么算入口活?空后端算不算故障?采不到数据算谁的错?每一个问题都需要结合业务形态做一次取舍,而每一处取舍不当,都会在真实故障时刻变成误报噪音或致命沉默。这次升级里花的精力,七成在这三个判断上,三成在代码上。
工具层面,这套三件套已经进入值守引擎正式版本,测试套件全量回归通过;使用上没有任何新增概念------K8s 集群照常纳管,探针自动生效,面板上多出来的两行检查项不需要任何配置。它延续了这个系列一贯的原则:对使用者隐藏复杂度,把取舍做在代码里。
对读者来说,如果只能从这一篇带走一句话,我希望是那句复盘结论:**进程活着不等于服务活着,服务活着不等于业务活着**。检查清单往下多走一层,故障发现的时间往往能提前好几个量级------因为业务层的故障,用户和监控谁先知道,取决于监控有没有走到业务这一层。下一篇见。