服务器 CPU 100% 怎么排查:8 条命令从现象定位到根因

摘要:服务器 CPU 告警弹出来,面板上写着 100%。命令都不难,麻烦的是不知道下一条该敲什么。这条命令链从确认现象一路走到调用栈,列出每一步的判断依据、分支走向和验证办法,逐步把"100%"还原成具体的方法调用或系统行为。

适用对象:运维、SRE(Site Reliability Engineer,站点可靠性工程师)、后端开发。

环境要求:

  • Linux 服务器,文中命令在 CentOS 7 / Ubuntu 20.04 验证通过,其他发行版参数基本一致
  • 多数只读命令普通用户即可执行;jstack、perf 需与应用运行用户一致或 root
  • 已装 sysstat(提供 mpstat/iostat/sar/pidstat)与 procps(提供 top/ps/vmstat)

排查顺序比命令本身更影响效率。CPU 100% 是现象不是原因:死循环、频繁 GC(Garbage Collection,垃圾回收)、锁竞争、软中断风暴、IO(Input/Output,输入/输出)等待、虚拟机宿主机窃取(steal)时间等成因各异,修复动作不同,跳过分类容易走错方向。

排查时守三条纪律:

  1. 不先重启:重启会抹掉现场,先取证
  2. 先留现场:导出线程栈、保存日志与指标快照
  3. 逐级下钻:全局 → 进程 → 线程 → 调用栈,不跳步

现场一旦被重启抹掉,栈和队列信息随之消失,往往只能等下次复现。

一、工具选型:手工命令与监控平台

排查时命令和监控各管一段。手工命令适合深挖单台机器的现场,回答此刻它在忙什么;监控平台擅长留存趋势和横向对比,用来看过去一段时间的走向、别的机器是否也这样。

监控侧路径按现有 stack 挑即可,要比的是采集粒度、部署成本与运维流程契合度,不是功能清单长短;已有监控体系的团队,补几条告警规则往往比再引入一套系统更划算。

方案 特点 适合场景
Zabbix 部署成熟、模板生态多 传统机房、标准化监控
Prometheus + Grafana 拉取模型、PromQL(Prometheus Query Language,Prometheus 查询语言)灵活 云原生、容器环境
Netdata 秒级粒度、开箱即用 单机实时观测、临时排障
原生 sar + cron 零依赖、命令即采集 无外部组件的轻量环境
综合型监控平台(含自动化工作流,见第六章) 图形化配置 + 自动化工作流 希望减少手工步骤的团队

下文以其中一条路径为例说明配置思路。

二、执行前检查清单

上机(登录目标机器)前花一分钟过一遍检查表,省掉"命令没装""栈导出了却不知道对应哪个 JVM(Java Virtual Machine,Java 虚拟机)"这类阻塞;高负载下 SSH 可能卡顿,登录通道提前留好。

检查项 确认方法 不做的后果
确认 CPU 核数 nproc 误判 load 是否超标
取证工具就位 which top mpstat pidstat jstack 到现场才发现命令缺失
记录告警时间点 记下告警触发时刻 回溯时对不上指标窗口

命令中的 <PID> 指目标进程号、<TID> 指线程号,在第四章定位步骤中取得后才替换使用。尖括号及其中内容为占位符,需替换为实际数值,不要原样执行。

三、CPU 100% 定位实操:从进程下钻到调用栈

3.1 用 top 确认 CPU 是不是真的忙

进入现场先看 top,CPU 时间分布、负载、进程排行都在这里。上机后别急着排序,先看清顶部汇总行。

命令 1:top

bash 复制代码
top
# 交互键见下表
参数/字段 含义
%Cpu(s) CPU 时间分布,重点看 us/sy/wa/si
load average 1/5/15 分钟平均负载
Tasks 进程总数与运行/睡眠分布
P/1/c/H/s 按 CPU 排序/展开每核/完整命令行/线程视图/设置刷新间隔

判断从 %Cpu(s) 哪一类偏高入手,再对照 load 是否同步上升。两者同升,进入 3.2 分流;CPU 不高但 load 高,转看 vmstat 的 b/wa 两列,按 3.2 的 wa 分支排查 IO 等待,D 状态(不可中断睡眠状态)进程处理见第七章相关条目。按 1 展开核心,确认是单核打满还是多核均衡。

提示 :top 默认 3 秒刷新,短命进程反复出现又消失时容易多次漏抓,调到 1 秒后才稳定采到样本。按 s 调刷新间隔,或用 pidstat -u 1 高频采样补抓。
提示 :%CPU 超过 100% 是多线程累加,不是异常。8 核机器上单进程可接近 800%。

命令 2:uptime + nproc

top 里的 load 是绝对值,脱离核数看没有意义。nproc 给出逻辑核数,load 除以核数才看得懂。

bash 复制代码
uptime
nproc

uptime 末尾三数是 1/5/15 分钟 load。判断的尺子:1/5/15 分钟值持续超过 核数×0.7 需要警惕,超过 核数×2 属于明显过载(经验参考值,需结合业务基线调整)。load 高 CPU 低偏 IO/锁等待,两者都高是计算资源确实不足。再用 vmstat 的运行队列交叉确认。

命令 3:vmstat

vmstat 补上 top 看不到的两块信息:运行队列和上下文切换。很多"CPU 不高但系统很慢"的情形,答案就在 r、b、cs 这几列。下面的命令每秒采样一次、共五次,看的是趋势。

bash 复制代码
vmstat 1 5
# 第一个参数为采样间隔(秒),第二个为次数
字段 含义 异常判断
r 运行队列长度 持续大于核数
b 不可中断睡眠进程数 持续 >0 指向 IO 等待(D 状态)
cs 每秒上下文切换 数千至上万为切换风暴
in 每秒中断 异常高指向中断密集
wa IO 等待占比 高值为磁盘瓶颈
st 宿主机窃取 持续 >10%

cs 高查锁竞争,wa 高查 IO,st 高在宿主层、本机优化无效。和 top 的 %Cpu(s) 对照口径是否一致。

提示 :vmstat 第一行是启动以来的平均值,突发故障时偏高失真,应丢弃,只看后续采样。

3.2 用 mpstat 分清 CPU 忙在哪一类时间

确认 CPU 确实繁忙后,下一步要分清忙在哪一类时间。mpstat -P ALL 同时给出每核细分占比,比 top 展开核心更结构化,也更适合留证。

bash 复制代码
mpstat -P ALL 1
# -P ALL 展开每个 CPU 核心

字段含义 (mpstat 输出列名与 top/分流表缩写对应):%usr(us) 用户态、%nice(ni) 调整过 nice 的进程、%sys(sy) 内核态、%iowait(wa) IO 等待、%irq(hi) 硬中断、%soft(si) 软中断、%steal(st) 宿主机窃取、%idle 空闲。口径上需注意:wa(top 缩写)与 %iowait(mpstat 列)同义,都是"CPU 空闲但有未完成 IO 的时间占比";%util 是 iostat -x 的磁盘设备利用率输出列,属设备层指标,不是 CPU 指标,二者不可混用。

找占比异常最高的一类,持续超 70%~80% 就是主线。只有单核接近 100%,指向单线程瓶颈或中断绑核;所有核均匀高,指向多线程计算。按占比最高的类型进入下表分支,再和 top 按 1 展开的核心视图交叉核对。

CPU 时间类型 → 工具链与根因方向分流表:

类型 高占比含义 主导工具链 根因方向
us 用户态烧 CPU top -c→pidstat -u→jstack/perf 死循环、密集计算、正则、序列化
sy 内核态占用高 pidstat -w、strace -c 系统调用、上下文切换、锁竞争
ni 调整过 nice 的进程 ps -eo ni,pcpu 人为提权进程抢占
wa CPU 在等 IO iostat -x、iotop 慢查询、日志写爆、脏页回写
hi 硬中断 cat /proc/interrupts 网卡/磁盘中断风暴
si 软中断 cat /proc/softirqs、sar -n DEV 网络包处理、代理类负载
st 宿主机窃取 mpstat -P ALL 的 %steal(vmstat 的 st 列亦可) 宿主层资源竞争

这里要注意,wa 和 st 两类容易误判。这两种情况下 CPU 其实没在算:前者等 IO,后者等宿主机调度,按对应分支定位即可,修复动作见 3.4。要是当成算力不足去加机器,方向就偏了。

3.3 从上百个线程定位到问题代码

us 高,问题落在应用代码里。但"哪个进程、哪条线程、哪行代码"隔着三层,得逐级缩范围。下面以 us 这一常见分支为例;选中其他类型时,按 3.2 分流表进入对应工具链,完整确认命令见 3.4 根因对照表。顺序反过来,往往会多花不少时间。

命令 5:进程级定位

top -c 看完整命令行免得认错进程,ps 按 CPU 排序给出稳定快照,pidstat 判断占用是持续的还是一闪而过。

bash 复制代码
top -c
ps -eo pid,ppid,user,%cpu,%mem,stat,comm --sort=-%cpu | head -20
pidstat -u 1        # -u 按进程统计,分列 %usr/%system/%CPU

锁定 %CPU 最高且 stat 为 R 的进程,记下 PID 进线程级。多个进程都低、系统 CPU 却高,回查 hi/si。持续占用还是瞬时脉冲,pidstat 连续采样能看到。锁定 PID 后再确认 Java 路径,避免 jstack 对应错 JVM:readlink -f /proc/<PID>/exe。

命令 6:线程级定位

锁定进程后,看是所有线程都在忙,还是某一条单独烧核。top -H 的 H 切到线程视图,ps -L 的 psr 列显示线程当前所在核心。

bash 复制代码
top -H -p <PID>                            # -H 显示线程
ps -L -p <PID> -o pid,tid,psr,pcpu,comm    # -L 列线程,psr 为当前所在核
pidstat -t -p <PID> 1                      # -t 线程粒度

找 %CPU 偏高的热点线程。单线程长期独占一核,指向死循环/密集计算;多线程轮流高,是线程池并发。记下热点线程 TID,ps -L 的 psr 确认线程落在哪个核上。

命令 7:TID 转十六进制(关键桥接)

这一环容易断。top -H 的 TID 是十进制,栈工具里的线程 ID(nid)是十六进制,须经转换才能对上号。得到 0x???? 后在调用栈里搜索对应 nid,比对时统一为小写、去掉前导零。

bash 复制代码
printf '%x\n' <TID>
# 或:echo 'obase=16;<TID>' | bc

提示:栈抓下来了却搜不到对应线程,多半是进制没转换,或大小写、前导零没统一,下钻卡住常常就在这里。

命令 8:调用栈级定位

最后读出热点线程正在执行什么。Java 应用用 jstack,C/C++ 用 pstack 或 gdb,跨语言场景用 perf 看热点函数。按应用类型选一种即可,不必全跑一遍。

bash 复制代码
# Java
jstack -l <PID>                  # -l 附加锁信息
jcmd <PID> Thread.print          # 现代替代方案
# C/C++
pstack <PID>
gdb -p <PID> -batch -ex 'thread apply all bt'
# 跨语言通用
perf top -p <PID>
perf record -g -p <PID> && perf report    # -g 记录调用栈

说明 :pstack 在较新发行版(RHEL/CentOS 7 起)常不默认安装,可改用 gdb;perf 需安装 perf 工具包,且可能需调整 perf_event_paranoid 才有采样权限。

用 nid 定位线程后看状态:RUNNABLE 且栈顶为业务方法,指向死循环/密集计算;BLOCKED/WAITING 且栈顶为 futex/park,可能是锁竞争,也可能是线程池/连接池的正常等待,结合 jstack 的 waiting to lock/locked 和持锁线程判断;GC task thread 占用高,用 jstat -gcutil <PID> 1000 看 YGC/FGC 频率。把栈特征映射到 3.4 根因表。连续抓 2--3 次栈对比,确认热点线程稳定,避免单次采样误判。

提示 :kill -QUIT <PID> 也能导出 Java 栈,栈输出到进程 stdout(systemd journal / 应用日志),需先确认日志落盘位置并保存,再做后续操作,否则重启后栈文件会丢失。

3.4 CPU 100% 常见根因与修复对照表

拿到栈特征后,对照下表把现象映射到具体动作,表里附了可复核的确认命令。

根因 典型特征 确认命令链 修复动作
死循环/密集计算 us 高,单线程 RUNNABLE 栈顶业务代码 top -H -p <PID> → printf '%x\n' <TID> → 在 jstack -l <PID> 输出中按 nid 定位;或 perf top -p <PID> 修逻辑、加退出条件、限流
GC 频繁 us 高,GC 线程占用高 jstat -gcutil <PID> 1000(看 YGC/FGC) 调堆/GC 参数、查内存泄漏
锁竞争 sy 高,BLOCKED 多 pidstat -w -p <PID> 1、jstack -l <PID> 查 BLOCKED 线程 缩小锁粒度、减少共享写
上下文切换风暴 sy 高,cs 极高 vmstat 1 5(看 cs)、pidstat -w -p <PID> 1 减线程、批处理、绑核
软中断风暴 si 高,NET_RX(网络接收软中断)飙升 watch -n1 cat /proc/softirqs、sar -n DEV 1 网卡多队列、批量收发、连接复用
IO 等待 wa 高,%util 满 iostat -x 1(看 %util)、iotop -oP 优化慢查询、异步写、缓存
宿主机窃取(steal) st 高 vmstat 1 5(看 st 列) 转向宿主层,本机优化无效

四、手工命令排查的短板

手工命令能查清现场,却回答不了"异常从什么时候开始"。短板集中在五处:

  1. 被动响应:收到告警或用户反馈才上机,故障已发生
  2. 无历史回溯:现场一过指标不可复现,只能靠回忆
  3. 多机效率低:几十台逐台登录,定位被时间拖长
  4. 阈值靠拍脑袋:凭个人经验设定,漏报与误报并存
  5. 经验难沉淀:路径装在个人脑子里,换人就要重新摸索

这五点与命令写得好不好无关,是纯手工方式本身的边界;要突破,得把排查能力前移到监控侧。

五、用监控告警补足人工排查

针对上面五项短板,监控侧的能力可归纳为四方面:阈值告警、历史回溯、多机一览、自动化留证。

下面这套配置示例基于 ManageEngine OpManager 监控平台,仅用于说明配置思路,同类方案按各自的入口也能实现同样的思路。下文沿用"监控平台""控制台""采集端""告警模块""自动化工作流"这些叫法。

5.1 阈值告警与采集间隔的设置

先把"什么情况算异常"定义清楚,告警才有依据。阈值不必设得过低,把分流表里的几类时间都覆盖到、采集粒度足够细,更重要。

通用菜单路径:控制台 → 监控配置 → 服务器资源 → CPU/进程监控 → 新建策略。

字段 配置建议 说明
监控对象 目标服务器或服务器组 支持批量套用
指标项 CPU 使用率、%iowait、单进程 %CPU 覆盖主要时间类型
采集间隔 1 分钟级(参考) 过长会抹平秒级峰值
阈值条件 CPU 使用率连续 3 次采样超阈值(采样间隔 1 分钟,约 3 分钟触发,N=3 为参考值) 抑制瞬时抖动误报;N 指连续超阈值的采样次数,本文示例为 3(约 3 分钟触发),需与采集间隔联动
通知方式 站内告警、邮件等 按团队既有渠道选择

验证时,在测试机上执行 stress --cpu $(nproc) --timeout 240 制造约 4 分钟满载负载(先装 stress,勿在生产机操作),确认告警模块按预期触发并记录指标曲线。

提示:采集间隔设太大(如 5 分钟)会把峰值平均掉导致不告警,关键指标建议 1 分钟级。测试中把采集间隔设成 5 分钟时,4 分钟满载最多采到 1 个点,达不到连续 3 次,告警不会触发;改成 1 分钟级后曲线和告警都正常。

5.2 用历史数据还原当时的负载

现场过后,排查就少了很多直接证据。控制台保存的时间序列数据能按时间点回看:先对齐告警时刻,再回看前 30 分钟曲线,判断是突增还是缓慢爬升,往往能反推出根因性质。

验证时,选取一次已知故障回溯其指标曲线,确认能还原当时的趋势。

5.3 多机一览找出异常节点

一台台登录适合深挖单机,要看全局得上多机视角。控制台的服务器列表与拓扑视图可按 CPU 占用排序,快速定位异常节点,也能查看上下游依赖关系,免得只盯一台机器、忽略关联影响。

验证时,在多台机器上制造不同负载,确认一览视图能正确排序呈现。

5.4 让告警自动带上现场快照

自动化工作流把"上机---敲命令---存现场"这套固定动作提前写好,告警触发时现场信息已经附在记录里。它不替代人工判断,只压缩重复劳动。

text 复制代码
告警触发(CPU 持续超阈值)
  → 自动化工作流启动
  → 采集端执行 top -bn1 / vmstat 1 3 / ps 排行
  → Java 应用另采集 jstack -l <PID> > jstack_$(date +%F_%H%M).log
  → 结果附到告警记录
  → 值班人员直接拿到现场快照

其中 <PID> 由采集端从进程排行中自动提取。

验证时,触发一次测试告警,检查采集结果是否完整附到告警记录。

提示:采集端配置不当会反向抢占被监控机 CPU,单机同时运行采集端时尤其明显。需限制采集频率与资源占用,并对采集端自身做监控。

六、排查 CPU 100% 常犯的 6 个错误

下面这些是反复出现的典型错误,对照自查能省掉不少无用功:

现象 根因 修复动作
只看 load 就判断 CPU 不够 未除以核数,误读绝对值 用 nproc 换算后再判断
把 wa 高当成加 CPU 能解决 IO 等待时 CPU 多在空闲 转向磁盘/慢查询排查
jstack 抓一次就下结论 单次采样错过热点线程 连续抓 2--3 次对比(详见 3.3)
重启后才想起取证 现场被抹掉 按三纪律先留证再重启(详见第一章)
D 状态进程杀不掉 不可中断状态不响应信号 等 IO 返回或重启,勿反复 kill -9
告警长期不触发 采集间隔过大抹平峰值 关键指标改为 1 分钟级(详见 5.1)

总结

排查路径可以归纳为:先确认现象,再按时间类型分流,然后逐级下钻到进程 → 线程 → 调用栈,最后对照根因表止血与根治。这几步靠手工命令完成。监控这边补的是另外几件事:持续观测和告警、按时间点回溯、多机一览和拓扑关系。两边配合起来,从发现异常、定位原因到恢复和预防,才都顾得上。

文中涉及的菜单名称、字段与参数在不同版本间可能略有差异,以部署环境中的实际界面和命令输出为准。

相关推荐
分布式存储与RustFS32 分钟前
RustFS 分片上传怎么配:大文件断点续传的最小可验证流程
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
赤生云电竞1 小时前
云游戏边缘节点部署:机房选址与网络拓扑优化实践 —— 从80ms时延预算看节点落位与Spine-Leaf组网
服务器·游戏·spine
爱吃香菜的初学者1 小时前
二十五.Linux——epoll
linux·运维·服务器
宽海智能仓储物流3 小时前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
无奈笑天下3 小时前
银河麒麟上DHCP无法获取IP地址问题处理
linux·运维·服务器·网络协议
分布式存储与RustFS3 小时前
Rivet 的 Agent 状态存进自建 RustFS:主桶配置与上线边界
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
蜗牛一步步往上爬4 小时前
第六章 使用Linux环境变量
linux·运维
如夏倾城4 小时前
BGP(Border Gateway Protocol 边界网关协议)
运维·服务器·网络·gateway·信息与通信
Lansonli4 小时前
大数据Spark(九十):Spark广播变量与累加器详解
服务器·前端·ajax