摘要:服务器 CPU 告警弹出来,面板上写着 100%。命令都不难,麻烦的是不知道下一条该敲什么。这条命令链从确认现象一路走到调用栈,列出每一步的判断依据、分支走向和验证办法,逐步把"100%"还原成具体的方法调用或系统行为。
适用对象:运维、SRE(Site Reliability Engineer,站点可靠性工程师)、后端开发。
环境要求:
- Linux 服务器,文中命令在 CentOS 7 / Ubuntu 20.04 验证通过,其他发行版参数基本一致
- 多数只读命令普通用户即可执行;
jstack、perf需与应用运行用户一致或 root - 已装
sysstat(提供mpstat/iostat/sar/pidstat)与procps(提供top/ps/vmstat)
排查顺序比命令本身更影响效率。CPU 100% 是现象不是原因:死循环、频繁 GC(Garbage Collection,垃圾回收)、锁竞争、软中断风暴、IO(Input/Output,输入/输出)等待、虚拟机宿主机窃取(steal)时间等成因各异,修复动作不同,跳过分类容易走错方向。
排查时守三条纪律:
- 不先重启:重启会抹掉现场,先取证
- 先留现场:导出线程栈、保存日志与指标快照
- 逐级下钻:全局 → 进程 → 线程 → 调用栈,不跳步
现场一旦被重启抹掉,栈和队列信息随之消失,往往只能等下次复现。
一、工具选型:手工命令与监控平台
排查时命令和监控各管一段。手工命令适合深挖单台机器的现场,回答此刻它在忙什么;监控平台擅长留存趋势和横向对比,用来看过去一段时间的走向、别的机器是否也这样。
监控侧路径按现有 stack 挑即可,要比的是采集粒度、部署成本与运维流程契合度,不是功能清单长短;已有监控体系的团队,补几条告警规则往往比再引入一套系统更划算。
| 方案 | 特点 | 适合场景 |
|---|---|---|
| Zabbix | 部署成熟、模板生态多 | 传统机房、标准化监控 |
| Prometheus + Grafana | 拉取模型、PromQL(Prometheus Query Language,Prometheus 查询语言)灵活 | 云原生、容器环境 |
| Netdata | 秒级粒度、开箱即用 | 单机实时观测、临时排障 |
| 原生 sar + cron | 零依赖、命令即采集 | 无外部组件的轻量环境 |
| 综合型监控平台(含自动化工作流,见第六章) | 图形化配置 + 自动化工作流 | 希望减少手工步骤的团队 |
下文以其中一条路径为例说明配置思路。
二、执行前检查清单
上机(登录目标机器)前花一分钟过一遍检查表,省掉"命令没装""栈导出了却不知道对应哪个 JVM(Java Virtual Machine,Java 虚拟机)"这类阻塞;高负载下 SSH 可能卡顿,登录通道提前留好。
| 检查项 | 确认方法 | 不做的后果 |
|---|---|---|
| 确认 CPU 核数 | nproc |
误判 load 是否超标 |
| 取证工具就位 | which top mpstat pidstat jstack |
到现场才发现命令缺失 |
| 记录告警时间点 | 记下告警触发时刻 | 回溯时对不上指标窗口 |
命令中的 <PID> 指目标进程号、<TID> 指线程号,在第四章定位步骤中取得后才替换使用。尖括号及其中内容为占位符,需替换为实际数值,不要原样执行。

三、CPU 100% 定位实操:从进程下钻到调用栈
3.1 用 top 确认 CPU 是不是真的忙
进入现场先看 top,CPU 时间分布、负载、进程排行都在这里。上机后别急着排序,先看清顶部汇总行。
命令 1:top
bash
top
# 交互键见下表
| 参数/字段 | 含义 |
|---|---|
%Cpu(s) |
CPU 时间分布,重点看 us/sy/wa/si |
load average |
1/5/15 分钟平均负载 |
Tasks |
进程总数与运行/睡眠分布 |
P/1/c/H/s |
按 CPU 排序/展开每核/完整命令行/线程视图/设置刷新间隔 |
判断从 %Cpu(s) 哪一类偏高入手,再对照 load 是否同步上升。两者同升,进入 3.2 分流;CPU 不高但 load 高,转看 vmstat 的 b/wa 两列,按 3.2 的 wa 分支排查 IO 等待,D 状态(不可中断睡眠状态)进程处理见第七章相关条目。按 1 展开核心,确认是单核打满还是多核均衡。
提示 :
top默认 3 秒刷新,短命进程反复出现又消失时容易多次漏抓,调到 1 秒后才稳定采到样本。按s调刷新间隔,或用pidstat -u 1高频采样补抓。
提示 :%CPU超过 100% 是多线程累加,不是异常。8 核机器上单进程可接近 800%。
命令 2:uptime + nproc
top 里的 load 是绝对值,脱离核数看没有意义。nproc 给出逻辑核数,load 除以核数才看得懂。
bash
uptime
nproc
uptime 末尾三数是 1/5/15 分钟 load。判断的尺子:1/5/15 分钟值持续超过 核数×0.7 需要警惕,超过 核数×2 属于明显过载(经验参考值,需结合业务基线调整)。load 高 CPU 低偏 IO/锁等待,两者都高是计算资源确实不足。再用 vmstat 的运行队列交叉确认。
命令 3:vmstat
vmstat 补上 top 看不到的两块信息:运行队列和上下文切换。很多"CPU 不高但系统很慢"的情形,答案就在 r、b、cs 这几列。下面的命令每秒采样一次、共五次,看的是趋势。
bash
vmstat 1 5
# 第一个参数为采样间隔(秒),第二个为次数
| 字段 | 含义 | 异常判断 |
|---|---|---|
r |
运行队列长度 | 持续大于核数 |
b |
不可中断睡眠进程数 | 持续 >0 指向 IO 等待(D 状态) |
cs |
每秒上下文切换 | 数千至上万为切换风暴 |
in |
每秒中断 | 异常高指向中断密集 |
wa |
IO 等待占比 | 高值为磁盘瓶颈 |
st |
宿主机窃取 | 持续 >10% |
cs 高查锁竞争,wa 高查 IO,st 高在宿主层、本机优化无效。和 top 的 %Cpu(s) 对照口径是否一致。
提示 :
vmstat第一行是启动以来的平均值,突发故障时偏高失真,应丢弃,只看后续采样。
3.2 用 mpstat 分清 CPU 忙在哪一类时间
确认 CPU 确实繁忙后,下一步要分清忙在哪一类时间。mpstat -P ALL 同时给出每核细分占比,比 top 展开核心更结构化,也更适合留证。
bash
mpstat -P ALL 1
# -P ALL 展开每个 CPU 核心
字段含义 (mpstat 输出列名与 top/分流表缩写对应):%usr(us) 用户态、%nice(ni) 调整过 nice 的进程、%sys(sy) 内核态、%iowait(wa) IO 等待、%irq(hi) 硬中断、%soft(si) 软中断、%steal(st) 宿主机窃取、%idle 空闲。口径上需注意:wa(top 缩写)与 %iowait(mpstat 列)同义,都是"CPU 空闲但有未完成 IO 的时间占比";%util 是 iostat -x 的磁盘设备利用率输出列,属设备层指标,不是 CPU 指标,二者不可混用。
找占比异常最高的一类,持续超 70%~80% 就是主线。只有单核接近 100%,指向单线程瓶颈或中断绑核;所有核均匀高,指向多线程计算。按占比最高的类型进入下表分支,再和 top 按 1 展开的核心视图交叉核对。
CPU 时间类型 → 工具链与根因方向分流表:
| 类型 | 高占比含义 | 主导工具链 | 根因方向 |
|---|---|---|---|
us |
用户态烧 CPU | top -c→pidstat -u→jstack/perf |
死循环、密集计算、正则、序列化 |
sy |
内核态占用高 | pidstat -w、strace -c |
系统调用、上下文切换、锁竞争 |
ni |
调整过 nice 的进程 | ps -eo ni,pcpu |
人为提权进程抢占 |
wa |
CPU 在等 IO | iostat -x、iotop |
慢查询、日志写爆、脏页回写 |
hi |
硬中断 | cat /proc/interrupts |
网卡/磁盘中断风暴 |
si |
软中断 | cat /proc/softirqs、sar -n DEV |
网络包处理、代理类负载 |
st |
宿主机窃取 | mpstat -P ALL 的 %steal(vmstat 的 st 列亦可) |
宿主层资源竞争 |
这里要注意,wa 和 st 两类容易误判。这两种情况下 CPU 其实没在算:前者等 IO,后者等宿主机调度,按对应分支定位即可,修复动作见 3.4。要是当成算力不足去加机器,方向就偏了。
3.3 从上百个线程定位到问题代码
us 高,问题落在应用代码里。但"哪个进程、哪条线程、哪行代码"隔着三层,得逐级缩范围。下面以 us 这一常见分支为例;选中其他类型时,按 3.2 分流表进入对应工具链,完整确认命令见 3.4 根因对照表。顺序反过来,往往会多花不少时间。
命令 5:进程级定位
top -c 看完整命令行免得认错进程,ps 按 CPU 排序给出稳定快照,pidstat 判断占用是持续的还是一闪而过。
bash
top -c
ps -eo pid,ppid,user,%cpu,%mem,stat,comm --sort=-%cpu | head -20
pidstat -u 1 # -u 按进程统计,分列 %usr/%system/%CPU
锁定 %CPU 最高且 stat 为 R 的进程,记下 PID 进线程级。多个进程都低、系统 CPU 却高,回查 hi/si。持续占用还是瞬时脉冲,pidstat 连续采样能看到。锁定 PID 后再确认 Java 路径,避免 jstack 对应错 JVM:readlink -f /proc/<PID>/exe。
命令 6:线程级定位
锁定进程后,看是所有线程都在忙,还是某一条单独烧核。top -H 的 H 切到线程视图,ps -L 的 psr 列显示线程当前所在核心。
bash
top -H -p <PID> # -H 显示线程
ps -L -p <PID> -o pid,tid,psr,pcpu,comm # -L 列线程,psr 为当前所在核
pidstat -t -p <PID> 1 # -t 线程粒度
找 %CPU 偏高的热点线程。单线程长期独占一核,指向死循环/密集计算;多线程轮流高,是线程池并发。记下热点线程 TID,ps -L 的 psr 确认线程落在哪个核上。
命令 7:TID 转十六进制(关键桥接)
这一环容易断。top -H 的 TID 是十进制,栈工具里的线程 ID(nid)是十六进制,须经转换才能对上号。得到 0x???? 后在调用栈里搜索对应 nid,比对时统一为小写、去掉前导零。
bash
printf '%x\n' <TID>
# 或:echo 'obase=16;<TID>' | bc
提示:栈抓下来了却搜不到对应线程,多半是进制没转换,或大小写、前导零没统一,下钻卡住常常就在这里。
命令 8:调用栈级定位
最后读出热点线程正在执行什么。Java 应用用 jstack,C/C++ 用 pstack 或 gdb,跨语言场景用 perf 看热点函数。按应用类型选一种即可,不必全跑一遍。
bash
# Java
jstack -l <PID> # -l 附加锁信息
jcmd <PID> Thread.print # 现代替代方案
# C/C++
pstack <PID>
gdb -p <PID> -batch -ex 'thread apply all bt'
# 跨语言通用
perf top -p <PID>
perf record -g -p <PID> && perf report # -g 记录调用栈
说明 :
pstack在较新发行版(RHEL/CentOS 7 起)常不默认安装,可改用gdb;perf需安装 perf 工具包,且可能需调整perf_event_paranoid才有采样权限。
用 nid 定位线程后看状态:RUNNABLE 且栈顶为业务方法,指向死循环/密集计算;BLOCKED/WAITING 且栈顶为 futex/park,可能是锁竞争,也可能是线程池/连接池的正常等待,结合 jstack 的 waiting to lock/locked 和持锁线程判断;GC task thread 占用高,用 jstat -gcutil <PID> 1000 看 YGC/FGC 频率。把栈特征映射到 3.4 根因表。连续抓 2--3 次栈对比,确认热点线程稳定,避免单次采样误判。
提示 :
kill -QUIT <PID>也能导出 Java 栈,栈输出到进程 stdout(systemd journal / 应用日志),需先确认日志落盘位置并保存,再做后续操作,否则重启后栈文件会丢失。
3.4 CPU 100% 常见根因与修复对照表
拿到栈特征后,对照下表把现象映射到具体动作,表里附了可复核的确认命令。
| 根因 | 典型特征 | 确认命令链 | 修复动作 |
|---|---|---|---|
| 死循环/密集计算 | us 高,单线程 RUNNABLE 栈顶业务代码 | top -H -p <PID> → printf '%x\n' <TID> → 在 jstack -l <PID> 输出中按 nid 定位;或 perf top -p <PID> |
修逻辑、加退出条件、限流 |
| GC 频繁 | us 高,GC 线程占用高 | jstat -gcutil <PID> 1000(看 YGC/FGC) |
调堆/GC 参数、查内存泄漏 |
| 锁竞争 | sy 高,BLOCKED 多 | pidstat -w -p <PID> 1、jstack -l <PID> 查 BLOCKED 线程 |
缩小锁粒度、减少共享写 |
| 上下文切换风暴 | sy 高,cs 极高 |
vmstat 1 5(看 cs)、pidstat -w -p <PID> 1 |
减线程、批处理、绑核 |
| 软中断风暴 | si 高,NET_RX(网络接收软中断)飙升 | watch -n1 cat /proc/softirqs、sar -n DEV 1 |
网卡多队列、批量收发、连接复用 |
| IO 等待 | wa 高,%util 满 |
iostat -x 1(看 %util)、iotop -oP |
优化慢查询、异步写、缓存 |
| 宿主机窃取(steal) | st 高 | vmstat 1 5(看 st 列) |
转向宿主层,本机优化无效 |
四、手工命令排查的短板
手工命令能查清现场,却回答不了"异常从什么时候开始"。短板集中在五处:
- 被动响应:收到告警或用户反馈才上机,故障已发生
- 无历史回溯:现场一过指标不可复现,只能靠回忆
- 多机效率低:几十台逐台登录,定位被时间拖长
- 阈值靠拍脑袋:凭个人经验设定,漏报与误报并存
- 经验难沉淀:路径装在个人脑子里,换人就要重新摸索
这五点与命令写得好不好无关,是纯手工方式本身的边界;要突破,得把排查能力前移到监控侧。
五、用监控告警补足人工排查
针对上面五项短板,监控侧的能力可归纳为四方面:阈值告警、历史回溯、多机一览、自动化留证。
下面这套配置示例基于 ManageEngine OpManager 监控平台,仅用于说明配置思路,同类方案按各自的入口也能实现同样的思路。下文沿用"监控平台""控制台""采集端""告警模块""自动化工作流"这些叫法。
5.1 阈值告警与采集间隔的设置
先把"什么情况算异常"定义清楚,告警才有依据。阈值不必设得过低,把分流表里的几类时间都覆盖到、采集粒度足够细,更重要。
通用菜单路径:控制台 → 监控配置 → 服务器资源 → CPU/进程监控 → 新建策略。
| 字段 | 配置建议 | 说明 |
|---|---|---|
| 监控对象 | 目标服务器或服务器组 | 支持批量套用 |
| 指标项 | CPU 使用率、%iowait、单进程 %CPU | 覆盖主要时间类型 |
| 采集间隔 | 1 分钟级(参考) | 过长会抹平秒级峰值 |
| 阈值条件 | CPU 使用率连续 3 次采样超阈值(采样间隔 1 分钟,约 3 分钟触发,N=3 为参考值) | 抑制瞬时抖动误报;N 指连续超阈值的采样次数,本文示例为 3(约 3 分钟触发),需与采集间隔联动 |
| 通知方式 | 站内告警、邮件等 | 按团队既有渠道选择 |
验证时,在测试机上执行 stress --cpu $(nproc) --timeout 240 制造约 4 分钟满载负载(先装 stress,勿在生产机操作),确认告警模块按预期触发并记录指标曲线。
提示:采集间隔设太大(如 5 分钟)会把峰值平均掉导致不告警,关键指标建议 1 分钟级。测试中把采集间隔设成 5 分钟时,4 分钟满载最多采到 1 个点,达不到连续 3 次,告警不会触发;改成 1 分钟级后曲线和告警都正常。
5.2 用历史数据还原当时的负载
现场过后,排查就少了很多直接证据。控制台保存的时间序列数据能按时间点回看:先对齐告警时刻,再回看前 30 分钟曲线,判断是突增还是缓慢爬升,往往能反推出根因性质。
验证时,选取一次已知故障回溯其指标曲线,确认能还原当时的趋势。
5.3 多机一览找出异常节点
一台台登录适合深挖单机,要看全局得上多机视角。控制台的服务器列表与拓扑视图可按 CPU 占用排序,快速定位异常节点,也能查看上下游依赖关系,免得只盯一台机器、忽略关联影响。
验证时,在多台机器上制造不同负载,确认一览视图能正确排序呈现。
5.4 让告警自动带上现场快照
自动化工作流把"上机---敲命令---存现场"这套固定动作提前写好,告警触发时现场信息已经附在记录里。它不替代人工判断,只压缩重复劳动。
text
告警触发(CPU 持续超阈值)
→ 自动化工作流启动
→ 采集端执行 top -bn1 / vmstat 1 3 / ps 排行
→ Java 应用另采集 jstack -l <PID> > jstack_$(date +%F_%H%M).log
→ 结果附到告警记录
→ 值班人员直接拿到现场快照
其中 <PID> 由采集端从进程排行中自动提取。
验证时,触发一次测试告警,检查采集结果是否完整附到告警记录。
提示:采集端配置不当会反向抢占被监控机 CPU,单机同时运行采集端时尤其明显。需限制采集频率与资源占用,并对采集端自身做监控。
六、排查 CPU 100% 常犯的 6 个错误
下面这些是反复出现的典型错误,对照自查能省掉不少无用功:
| 现象 | 根因 | 修复动作 |
|---|---|---|
| 只看 load 就判断 CPU 不够 | 未除以核数,误读绝对值 | 用 nproc 换算后再判断 |
| 把 wa 高当成加 CPU 能解决 | IO 等待时 CPU 多在空闲 | 转向磁盘/慢查询排查 |
| jstack 抓一次就下结论 | 单次采样错过热点线程 | 连续抓 2--3 次对比(详见 3.3) |
| 重启后才想起取证 | 现场被抹掉 | 按三纪律先留证再重启(详见第一章) |
| D 状态进程杀不掉 | 不可中断状态不响应信号 | 等 IO 返回或重启,勿反复 kill -9 |
| 告警长期不触发 | 采集间隔过大抹平峰值 | 关键指标改为 1 分钟级(详见 5.1) |
总结
排查路径可以归纳为:先确认现象,再按时间类型分流,然后逐级下钻到进程 → 线程 → 调用栈,最后对照根因表止血与根治。这几步靠手工命令完成。监控这边补的是另外几件事:持续观测和告警、按时间点回溯、多机一览和拓扑关系。两边配合起来,从发现异常、定位原因到恢复和预防,才都顾得上。
文中涉及的菜单名称、字段与参数在不同版本间可能略有差异,以部署环境中的实际界面和命令输出为准。