📖 目录
- [🐧 一、高级工具:pstack、strace、/proc](#🐧 一、高级工具:pstack、strace、/proc)
- [📌 pstack:打印线程栈](#📌 pstack:打印线程栈)
- [📌 strace:跟踪系统调用](#📌 strace:跟踪系统调用)
- [📌 /proc 文件系统](#📌 /proc 文件系统)
- [🐧 二、日志监控工具](#🐧 二、日志监控工具)
- [📌 tail:实时看日志并着色](#📌 tail:实时看日志并着色)
- [📌 multitail:多窗口看日志](#📌 multitail:多窗口看日志)
- [🐧 三、综合性能监控](#🐧 三、综合性能监控)
- [📌 pmap:进程内存映射](#📌 pmap:进程内存映射)
- [📌 nmon:性能采集与可视化](#📌 nmon:性能采集与可视化)
- [📌 glances:一屏看全局](#📌 glances:一屏看全局)
- [📌 w:谁在线、在干什么](#📌 w:谁在线、在干什么)
- [🐧 四、CPU 性能原理篇](#🐧 四、CPU 性能原理篇)
- [📌 CPU 使用率](#📌 CPU 使用率)
- [📌 运行队列(runqueue)](#📌 运行队列(runqueue))
- [📌 负载(Load)](#📌 负载(Load))
- [📌 上下文切换](#📌 上下文切换)
- [📌 中断](#📌 中断)
- [📌 负载与 CPU 利用率的关系](#📌 负载与 CPU 利用率的关系)
- [📌 遇到 CPU 使用率高怎么排查](#📌 遇到 CPU 使用率高怎么排查)
- [📌 根据指标找工具 / 根据工具查指标](#📌 根据指标找工具 / 根据工具查指标)
- [📌 如何快速分析 CPU 性能瓶颈](#📌 如何快速分析 CPU 性能瓶颈)
- [🐧 五、性能优化方法论](#🐧 五、性能优化方法论)
- [📌 评估优化效果](#📌 评估优化效果)
- [📌 多个性能问题并存时的选择](#📌 多个性能问题并存时的选择)
- [📌 性能指标总结](#📌 性能指标总结)
- [🐧 六、两篇小结](#🐧 六、两篇小结)
- [🐧 七、经典面试题](#🐧 七、经典面试题)
- [📌 Q1:CPU 使用率高但负载不高,可能是什么原因?](#📌 Q1:CPU 使用率高但负载不高,可能是什么原因?)
- [📌 Q2:平均负载的三个数值(1/5/15 分钟)怎么解读?](#📌 Q2:平均负载的三个数值(1/5/15 分钟)怎么解读?)
- [📌 Q3:上下文切换过多有什么问题?怎么排查?](#📌 Q3:上下文切换过多有什么问题?怎么排查?)
- [📌 Q4:
%iowait很高说明什么?怎么处理?](#📌 Q4:%iowait 很高说明什么?怎么处理?) - [📌 Q5:硬中断和软中断有什么区别?](#📌 Q5:硬中断和软中断有什么区别?)
- [📌 Q6:性能优化如何量化效果?多个问题并存先优化哪个?](#📌 Q6:性能优化如何量化效果?多个问题并存先优化哪个?)
- [📌 Q7:
free命令里free和available有什么区别?](#📌 Q7:free 命令里 free 和 available 有什么区别?) - [📌 Q8:一个服务把单核 CPU 打满、其他核很闲,用什么工具发现?怎么定位到线程?](#📌 Q8:一个服务把单核 CPU 打满、其他核很闲,用什么工具发现?怎么定位到线程?)
- [📌 Q9:怎么判断一个进程是卡在 I/O 还是在忙计算?](#📌 Q9:怎么判断一个进程是卡在 I/O 还是在忙计算?)
- [📌 Q10:线上服务响应突然变慢,你的排查思路是什么?](#📌 Q10:线上服务响应突然变慢,你的排查思路是什么?)
🐧 一、高级工具:pstack、strace、/proc
📌 pstack:打印线程栈
pstack 打印指定进程的调用栈,能快速看出进程当前卡在哪个函数上,是排查"进程 hang 住 / CPU 打满"的常用工具。
bash
sudo apt install pstack
pstack <进程ID>
看一个聊天服务进程的真实栈:
bash
root@chat-prod-01:~# pstack 25901
Thread 2 (Thread 0x7f950fd02700 (LWP 25902)):
#0 0x00007f9514a1ff73 in select () from /usr/lib64/libc.so.6
#1 0x00007f95136b95a5 in apr_sleep () from /usr/lib64/libapr-1.so.0
#2 0x00007f9514645f19 in ?? ()
#3 0x0000000001186ec0 in ?? ()
...
Thread 1 (Thread 0x7f9515b348c0 (LWP 25901)):
#0 0x00007f9514a29483 in epoll_wait () from /usr/lib64/libc.so.6
#1 0x000000000048604f in CEventDispatch::StartDispatch (this=0x1195600, wait_timeout=100)
at /home/LJ/work/chatserver/src/base/EventDispatch.cpp:365
#2 0x0000000000479ad2 in netlib_eventloop (wait_timeout=100)
at /home/LJ/work/chatserver/src/base/netlib.cpp:160
#3 0x000000000046f598 in main (argc=1, argv=0x7ffc278e13a8)
at /home/LJ/work/chatserver/src/chat_server.cpp:132
解读:主线程停在 epoll_wait(正常,事件循环在等事件);辅助线程停在 select + apr_sleep(定时器线程在 sleep)。如果多次 pstack 都停在同一处业务函数,那多半就是卡点。配合 Java 的 jstack 能看到 JVM 线程全景。
💡 排查 CPU 打满的套路:
top -Hp <pid>找到高 CPU 线程 → 转成 16 进制 →pstack <pid>里找对应线程(LWP)的栈。
📌 strace:跟踪系统调用
strace 跟踪进程的系统调用和信号,能看清一个程序"在背后到底干了什么",是研究 Linux 底层机制的利器。
常用参数:
| 参数 | 作用 |
|---|---|
-c |
统计每个系统调用的时间、次数、出错次数 |
-d |
输出关于标准错误的调试信息 |
-f |
跟踪 fork 出的子进程 |
-ff |
配合 -o filename,各进程输出到 filename.pid |
-F |
跟踪 vfork(用了 -f 时 vfork 默认不跟踪) |
-h |
帮助 |
-i |
输出系统调用入口指针 |
-q |
禁止输出脱离(detach)消息 |
-r |
打印每个调用的相对时间 |
-t / -tt / -ttt |
行前加时间 / 微秒级 / 以秒表示的微秒 |
-T |
显示每个调用耗时 |
-v |
输出所有系统调用(默认省略环境变量、状态等高频调用) |
-V |
版本信息 |
-x / -xx |
非标准字符串 / 所有字符串以十六进制输出 |
-a column |
设置返回值输出位置(默认 40) |
-o file |
输出写入文件 |
-p pid |
跟踪指定进程 |
-s strsize |
字符串最大输出长度(默认 32) |
-u username |
以指定用户 UID/GID 执行 |
-e expr 过滤表达式 :格式为 [qualifier=][!]value1[,value2]...,qualifier 可取 trace、abbrev、verbose、raw、signal、read、write,默认 trace;! 表示取反。
bash
-e open # 等价于 -e trace=open,只跟踪 open
-e trace!=open # 跟踪除 open 外的调用(注意 shell 的历史展开,用 \! 转义)
-e trace=open,close,read,write # 只跟这四个(默认 set=all)
-e trace=file # 只跟文件操作相关
-e trace=process # 只跟进程控制相关
-e trace=network # 只跟网络相关
-e trace=ipc # 只跟进程通信相关
-e trace=signal # 只跟信号相关(原文写作 strace=signal,实为 trace)
-e signal=!SIGIO # 不跟踪 SIGIO
-e read=3,5 # 输出从 fd 3、5 读出的数据
-e write=3 # 输出写入 fd 3 的数据
-e abbrev=none # 等价于 -v,展开所有结果
-e raw=network # 参数以十六进制显示
all 和 none 是两个特殊值。
实时查看进程:
bash
root@chat-prod-01:~# strace -p 25901
strace: Process 25901 attached
gettimeofday({1566530771, 437813}, NULL) = 0
epoll_wait(6, [], 1024, 100) = 0
gettimeofday({1566530771, 538318}, NULL) = 0
gettimeofday({1566530771, 538424}, NULL) = 0
epoll_wait(6, [], 1024, 100) = 0
gettimeofday({1566530771, 638872}, NULL) = 0
epoll_wait(6, [], 1024, 100) = 0
看到的就是一个 epoll 事件循环:反复 gettimeofday 取时间 + epoll_wait 等事件,100ms 超时返回一次。
测试一段时间内的系统调用统计:
bash
root@chat-prod-01:~# strace -c -p 25901
strace: Process 25901 attached
^Cstrace: Process 25901 detached
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
88.29 0.002972 19 160 epoll_wait
7.31 0.000246 1 198 gettimeofday
4.19 0.000141 47 3 sendto
0.12 0.000004 1 4 2 recvfrom
0.09 0.000003 2 2 ioctl
------ ----------- ----------- --------- --------- ----------------
100.00 0.003366 367 2 total
输入 strace -c -p 25901 后让它跑一会儿,按 Ctrl+C 退出就会打印这张统计表,一眼看出时间都花在哪个系统调用上。
📌 /proc 文件系统
Linux 内核通过 /proc 伪文件系统暴露运行时内部数据结构,既能查看也能改内核参数。
bash
cat /proc/cpuinfo # CPU 信息
cat /proc/meminfo # 内存信息
cat /proc/zoneinfo # 详细内存映射
cat /proc/mounts # 磁盘挂载
cat /proc/loadavg # 系统平均负载(uptime 的数据来源)
cat /proc/softirqs # 各类软中断计数(排查软中断问题必看)
cat /proc/interrupts # 中断统计
cat /proc/loadavg 的输出形如 0.21 0.57 0.52 2/530 32089:前三个是 1/5/15 分钟负载,2/530 是可运行进程数/总进程数,32089 是最后一个进程 PID。
🐧 二、日志监控工具
📌 tail:实时看日志并着色
tail -f 实时追日志是最日常的操作。配合 perl 能给不同级别上色,肉眼排查效率提升明显------INF 绿、WARN 黄、ERROR 红:
bash
tail -f /data/chatserver/log/chat.log | perl -pe \
's/(INF)/\e[0;32m$1\e[0m/g,s/(WARN)/\e[0;33m$1\e[0m/g,s/(ERROR)/\e[1;31m$1\e[0m/g'
常用变体:
bash
tail -f app.log # 实时追
tail -100f app.log # 先显示最后 100 行再追
tail -F app.log # 跟随文件名(日志轮转后自动跟新文件)
📌 multitail:多窗口看日志
multitail 能在同一屏幕开多个视窗看日志,特别适合同时盯部署在多台机器上的项目日志。
bash
-cS [color_scheme] # 选择输出配色,推荐 goldengate,也可改 /etc/multitail.conf 自定义
bash
multitail /data/chatserver/log/chat.log /data/chatserver/log/access.log
🐧 三、综合性能监控
📌 pmap:进程内存映射
pmap [options] PID 显示进程的地址空间和内存状态。它原本是 Sun OS 的命令,Linux 只支持有限功能,但对查看完整进程地址空间很有帮助。PID 可通过 /proc、top、ps 得到。
bash
root@chat-prod-01:~# pmap -x 25901
25901: ./chat_server
Address Kbytes RSS Dirty Mode Mapping
0000000000400000 1096 144 0 r-x-- chat_server
0000000000711000 4 4 0 r---- chat_server
0000000000712000 4 4 4 rw--- chat_server
00007f950f502000 4 0 0 ----- [ anon ]
00007f950f503000 8192 8 8 rw--- [ anon ]
00007f950fd03000 384 8 0 r-x-- libpcre.so.1.2.0
00007f950fd63000 2048 0 0 ----- libpcre.so.1.2.0
...
00007ffc279ba000 8 8 0 r-x-- [ anon ]
ffffffffff600000 4 0 0 r-x-- [ anon ]
---------------- ------- ------- -------
total kB 170028 2304 504
-X 能输出更详细版本。
输出里大量 [ anon ] 行表示磁盘上没有对应文件,一般是可执行文件或动态库里的 bss 段;有对应文件的 mapping 也可能是匿名映射(如文件的数据段)。
关键字段(-x 输出部分):
| 字段 | 含义 |
|---|---|
Size |
映射区域在虚拟内存中的大小 |
Rss |
当前占用物理内存大小 |
Shared_Clean |
与其他进程共享、未被改写的页 |
Shared_Dirty |
与其他进程共享、已被改写的页 |
Private_Clean |
未被改写的私有页 |
Swap |
非 mmap 内存(如 malloc 分配的匿名内存)被换到 swap 的大小 |
Pss |
平摊计算后的物理内存占用 |
Pss 尤其有用:如果一块 1000KB 的物理内存被两个进程映射,每个进程平摊 500KB,Pss 就是 500KB。多台进程共享动态库时,用 Pss 统计总内存比简单相加 RSS 准确得多。
💡 查"某进程到底吃了多少内存",用
pmap -x <pid> | tail -1看 total,或grep Pss /proc/<pid>/smaps_rollup。
📌 nmon:性能采集与可视化
nmon 一屏展示 CPU、内存、网络、磁盘等多维信息,还能后台采集生成文件供事后分析。
安装:
bash
# centos:下载对应系统的二进制
wget http://sourceforge.net/projects/nmon/files/nmon16e_mpginc.tar.gz
mkdir nmon16e_mpginc
tar -xvfz nmon16e_mpginc.tar.gz -C nmon16e_mpginc
cd nmon16e_mpginc
chmod +x nmon_x86_64_centos7
mv nmon_x86_64_centos7 /usr/bin/nmon # 放到 PATH 里随处可用
# ubuntu
sudo apt-get install nmon
nmon
后台采集:配合性能测试,把一段时间内的资源消耗记录下来:
bash
./nmon/nmon_x86_64_rhel7 -f -N -m /nmon/log -s 30 -c 120
| 参数 | 含义 |
|---|---|
-f |
按标准格式输出文件:_YYYYMMDD_HHMM.nmon |
-N |
包含 NFS 部分 |
-m |
切换路径保存日志 |
-s |
采样间隔秒数(这里 30) |
-c |
采样次数(这里 120) |
采集时长 = 采样次数 × 间隔 = 120 × 30 / 3600 = 1 小时 。通用公式 c = h × 3600 / s:想监控 10 小时、每 30 秒采样一次,就是 c = 10 × 3600 / 30 = 1200。
启动后自动生成监控文件并持续写入,直到 120 个点采集完成,全程无需人工干预。想提前停止,用 ps -ef | grep nmon 查 PID 后 kill 掉。
定时任务 :做运营期的定期监控,用 crontab -e 在最后一行加:
bash
0 8 * * 1,2,3,4,5 /nmon/nmon_x86_64_rhel7 -f -N -m /nmon/log -s 30 -c 1200
表示周一到周五每天早 8 点开始,监控 10 小时(到 18:00)输出到 /nmon/log。
可视化 :生成的 .nmon 文件可用 nmonchart(Google Charts 生成 HTML 报告)或 nmon_analyser(Excel 插件)转成图表。
📌 glances:一屏看全局
glances 用一个屏幕展示 CPU、内存、网络、磁盘、进程等所有信息,是"只想快速掌握系统整体状况"时的利器。
安装:
bash
# centos
yum install -y glances
# ubuntu
sudo apt-add-repository ppa:arnaud-hartmann/glances-stable
sudo apt-get update
sudo apt-get install glances
glances # 启动
运行时快捷键:
| 键 | 作用 |
|---|---|
a |
进程自动排序 |
c / m / p / i |
按 CPU / 内存 / 名称 / I/O 排序 |
d / f / n |
显示或隐藏磁盘 I/O / 文件系统 / 网络接口 |
s / y / l |
显示或隐藏传感器 / 硬盘温度 / 日志 |
b |
切换网络 I/O 单位 Bytes/bits |
w / x |
删除警告日志 / 删除警告和严重日志 |
1 |
切换全局 CPU 与每核 CPU |
t / u |
组合 / 累计形式浏览网络 I/O |
h |
帮助;q、ESC、Ctrl+C 退出 |
📌 w:谁在线、在干什么
w 显示谁登录了系统以及各自在执行的程序。
bash
root@chat-prod-01:~# w -h
root pts/0 192.168.1.66 10:58 2.00s 0.23s 0.23s -bash
root pts/2 192.168.1.66 11:30 26.00s 0.06s 0.00s tail -f /data/chatserver/log/chat.log
root pts/3 192.168.1.66 11:53 1:30 0.03s 0.03s -bash
-h 省略标题行。能看出登录来源 IP、空闲时间(IDLE)、CPU 用时(JCPU/PCPU)和当前命令(WHAT)。
🐧 四、CPU 性能原理篇
服务端性能测试里,CPU 使用率是衡量系统性能的重要指标。Linux CPU 主要关注利用率、运行队列、负载、上下文切换四类指标。
📌 CPU 使用率
Linux 把 CPU 时间按维度统计:
| 指标 | 含义 |
|---|---|
%usr |
普通进程在用户态执行的时间 |
%sys |
进程在内核态执行的时间 |
%nice |
调整过优先级的进程在用户态的时间 |
%idle |
空闲时间 |
%iowait |
等待 I/O 完成的时间 |
%irq |
处理硬中断的时间 |
%soft |
处理软中断的时间 |
%steal |
虚拟机时间片被同宿主机其他 VM 占用(高说明宿主机到瓶颈) |
一般情况下,CPU 大部分时间片消耗在用户态和内核态。sys 和 user 比例相互影响:%sys 高说明服务频繁在用户态和内核态之间切换,带来额外开销,处理业务的时间片就少了。
- I/O 密集型系统 (网络 I/O 或磁盘 I/O)会产生大量中断,
%sys相对升高 - 磁盘 I/O 密集型 系统读写占用大量 CPU,
%iowait会明显升高------这时要排查是否有大量不合理日志操作、频繁数据载入
用 top、vmstat、mpstat 查看:
text
# top
%Cpu(s): 0.9 us, 0.6 sy, 0.0 ni, 98.4 id, 0.1 wa, 0.0 hi, 0.0 si, 0.0 st
# vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
1 0 1061592 15986 395216 91660 0 0 3 9 0 0 5 1 94 0
# mpstat
CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
all 0.92 0.00 0.50 0.17 0.00 0.00 0.00 4.14 94.27
📌 运行队列(runqueue)
内核要找新进程上 CPU 时,只考虑处于 TASK_RUNNING 状态的进程------扫描整个进程链表太低效,于是引入了可运行进程的双向循环链表,即运行队列。
每个 CPU 核都维护自己的运行队列,存放 running 和 runnable 两种状态的进程。CPU 不断调度队列里的进程,队列里进程越多,每个进程分到的时间片越少,响应时间越长,同时 CPU 持续处于运行状态,开销大。观察一段时间内运行队列长度,就能判断 CPU 是否到瓶颈------这就是"负载"概念的由来。
📌 负载(Load)
CPU 负载指一段时间内,正在处理 + 等待 CPU 处理的进程数之和,即运行队列长度。**平均负载(Load Average)**是这段时间内运行队列的平均进程数。Load Average 越高,CPU 资源竞争越激烈;长期"热竞争"对硬件也是一种损耗。
用一个售票窗口的比喻理解:
- 10 个窗口、1 个人买票:随便找个窗口就办完,还有 9 个窗口空着------负载 0.1,毫无压力
- 10 个窗口、10 个人:一人一窗,全部窗口都在工作------负载 1,满载
- 10 个窗口、20 个人:开始排队------负载 2,全负荷且有排队
- 10 个窗口、100/200 人:售票员不停工作,得考虑开新窗口(扩容)
但真实 CPU 和售票不同:CPU 给每个进程分配固定时间片,时间片内没处理完就挂起、处理下一个,产生中断。高负载下不断发生进程切换,产生大量中断和开销。经验值:单核负载 < 2 性能良好,> 5 说明存在严重性能问题(多核按核数放大)。
查看负载:
bash
top # top - 10:45:06 up 406 days, ..., load average: 0.35, 0.63, 0.54
uptime # 10:45:23 up 406 days, ..., load average: 0.27, 0.60, 0.53
cat /proc/loadavg # 0.21 0.57 0.52 2/530 32089
📌 上下文切换
一个 Linux 内核能支持运行 50~50000 个进程,内核调度执行这些进程,每个进程分到时间片运行。当一个进程用完时间片、或被更高优先级进程抢占后,它被放回运行队列,另一个进程上 CPU------这个切换过程就是上下文切换。
Linux 有内核态和用户态两种运行级别,内核态级别更高、能做任何操作。发生切换时,用户态应用通过系统调用进入内核空间,调用完成后返回用户态,因此上下文切换存在系统开销,会推高 %sys。
进程的"上下文"指 CPU 寄存器值、进程状态、堆栈内容。内核切换到别的进程时,要保存当前进程的全部状态到任务数据结构,以便下次恢复。发生中断时,内核在被中断进程的上下文中、在内核态执行中断服务例程,同时保留所需资源以便中断结束后恢复。
引起上下文切换的原因(抢占式系统):
- 当前任务时间片用完,CPU 正常调度下一个
- 当前任务遇到 I/O 阻塞,被挂起
- 多个任务抢锁,当前任务没抢到被挂起
- 用户代码主动挂起当前任务、让出 CPU
- 硬件中断
⚠️ 上篇提过:
vmstat的cs列是上下文切换次数 ,in列才是中断次数。
📌 中断
中断指 CPU 执行程序时,因某种随机事件(外部或内部)暂时中断当前程序,转去执行一段特殊服务程序(中断服务程序),处理完再返回继续执行。引入中断的原因:
- 提高数据传输率
- 避免 CPU 不断轮询外设状态,提高利用率
- 实现对特殊事件的实时响应(缺页中断、设备中断、异常、实时钟等)
按中断源分两类:
| 类型 | 别称 | 来源 | 特点 |
|---|---|---|---|
| 硬中断 | 外部中断 | 硬件(键盘、鼠标、网卡、磁盘) | 每个设备有 IRQ,CPU 据此分发给驱动;会打断当前任务;多核下一个中断通常只中断一颗核 |
| 软中断 | 内部中断 | 软件/内核 | 常由硬中断处理程序或调度程序触发,即系统调用;多在处理 I/O 请求时发生 |
I/O 密集型系统可能出现大量中断请求,中断产生中断上下文,带来 CPU 开销。
查看中断:
bash
# vmstat:in 列是中断次数
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 54484 343748 687816 45583564 0 0 1 3 0 0 1 0 99 0
# mpstat:%irq 硬中断、%soft 软中断占比
11:30:28 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
11:30:28 all 0.63 0.00 0.32 0.06 0.00 0.11 0.00 0.00 98.88
📌 负载与 CPU 利用率的关系
CPU 利用率高,负载一定高吗?不一定。
- CPU 利用率:进程抢占 CPU 时间片的比例,只有运行态进程才消耗时间片;所需时间片多少取决于进程计算逻辑的复杂度
- 负载:运行队列中等待 + 运行的进程数总和
负载很高时,可能只是等待运行的进程多,它们并不占用多少时间片;队列中消耗的 CPU 也可能集中在少数几个计算密集型进程上。所以两者没有硬性比例关系,衡量 CPU 性能要同时看两个指标、综合考虑(这也是上篇面试题 Q1 的核心)。
📌 遇到 CPU 使用率高怎么排查
先确认 CPU 消耗在用户态还是内核态。
内核态占用高:
%iowait高 → 关注磁盘 I/O,是否有不合理写日志、数据库操作%soft或cs高 → 看 CPU 负载高不高、网卡流量大不大,能否精简数据、代码在多线程操作上是否有不合适的中断%steal高 → 一般发生在虚拟机,查宿主机是否资源超限
用户态高且没达到预期性能 → 应用程序本身需要优化。
📌 根据指标找工具 / 根据工具查指标
生产环境希望尽快定位瓶颈、尽快优化。CPU 指标虽多,但并非孤立,很多指标有关联,弄清关联就要理解每个指标的工作原理。
日常用 top、vmstat、pidstat 三个工具排查,因为它们支持的指标最多:
| 工具 | 能提供的关键指标 |
|---|---|
top |
各种 CPU 使用率、僵尸进程、平均负载 |
vmstat |
上下文切换次数、中断次数、运行/不可中断状态进程数 |
pidstat |
进程用户 CPU、系统 CPU、自愿/非自愿上下文切换 |
📌 如何快速分析 CPU 性能瓶颈
三个典型套路:
top发现用户 CPU 使用率高 → 用pidstat接着分析是哪个进程导致的top的平均负载高 → 和vmstat的运行态、不可中断态进程数对比,看是哪种进程导致负载升高top输出软中断 CPU 使用率高 → 查看/proc/softirqs里各类软中断变化,确定哪种软中断出问题;比如发现是网络接收中断,继续用sar和tcpdump分析
🐧 五、性能优化方法论
📌 评估优化效果
性能优化绕不开三个问题:
- 怎么判断优化有没有效、提升多少?
- 多个性能问题同时发生,先优化哪个?
- 提升性能的方法不唯一,选哪种?是不是总选提升最大的?
以"某进程用直接 I/O 导致 iowait 很高,改成缓存 I/O"为例:
- 效果:iowait 从 90% 降到接近 0,提升明显
- 选择:没发现其他瓶颈,直接 I/O 是唯一瓶颈,不用挑
- 方法:缓存 I/O 是最简单的方案,且不影响功能
但真实情况复杂得多:性能指标多重、问题可能并发、优化一个指标可能导致另一个下降。所以要量化:
- 确定性能的量化指标
- 测试优化前的指标
- 测试优化后的指标
量化指标不要局限单一维度,至少从两方面选:
- 应用程序维度:吞吐量、请求延迟(Web 应用典型)
- 系统资源维度:CPU 使用率
两者相辅相成:好的应用程序是优化的最终目的,系统优化总是为应用服务,所以必须用应用指标评估整体效果;而系统资源使用是应用性能的根源,要用系统指标观察和分析瓶颈来源。
测试时注意:
- 避免性能测试工具本身干扰应用性能
- 避免外部环境变化影响评估------优化前后要跑在相同配置的机器上,外部依赖也要完全一致
📌 多个性能问题并存时的选择
按二八原则,找到关键 20% 就能优化 80% 的性能,不是所有问题都值得优化。
优化前先分析所有问题,找出最重要、能最大程度提升性能的那个,从它开始。简化判断过程:
- 系统资源到瓶颈优先:比如 CPU 100%,首先优化系统资源使用,解决后才考虑其他
- 变化幅度大的优先:针对不同类型指标,先优化那些由瓶颈导致、指标变化幅度最大的问题。比如瓶颈导致用户 CPU 升 10%、系统 CPU 升 50%,就先优化系统 CPU
📌 性能指标总结
一组经验值可作参考:
- 每个 CPU 的运行队列不要超过 2(双核不要超过 4)
- CPU 满负荷时,时间分布应大致符合:
- User Time:65%~70%,高于此值考虑优化应用程序
- System Time:30%~35%,高于此值观察是否有过多中断或上下文切换
- Idle:0%~5%
- 上下文切换要结合 CPU 使用率看:如果 CPU 使用符合上述分布,大量上下文切换也可以接受
🐧 六、两篇小结
把上篇的"命令工具箱"和下篇的"原理方法论"串成一条排查主线:
#mermaid-svg-ChnaX3p5LoRn69os{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-ChnaX3p5LoRn69os .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-ChnaX3p5LoRn69os .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-ChnaX3p5LoRn69os .error-icon{fill:#552222;}#mermaid-svg-ChnaX3p5LoRn69os .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-ChnaX3p5LoRn69os .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-ChnaX3p5LoRn69os .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-ChnaX3p5LoRn69os .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-ChnaX3p5LoRn69os .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-ChnaX3p5LoRn69os .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-ChnaX3p5LoRn69os .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-ChnaX3p5LoRn69os .marker{fill:#333333;stroke:#333333;}#mermaid-svg-ChnaX3p5LoRn69os .marker.cross{stroke:#333333;}#mermaid-svg-ChnaX3p5LoRn69os svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-ChnaX3p5LoRn69os p{margin:0;}#mermaid-svg-ChnaX3p5LoRn69os .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-ChnaX3p5LoRn69os .cluster-label text{fill:#333;}#mermaid-svg-ChnaX3p5LoRn69os .cluster-label span{color:#333;}#mermaid-svg-ChnaX3p5LoRn69os .cluster-label span p{background-color:transparent;}#mermaid-svg-ChnaX3p5LoRn69os .label text,#mermaid-svg-ChnaX3p5LoRn69os span{fill:#333;color:#333;}#mermaid-svg-ChnaX3p5LoRn69os .node rect,#mermaid-svg-ChnaX3p5LoRn69os .node circle,#mermaid-svg-ChnaX3p5LoRn69os .node ellipse,#mermaid-svg-ChnaX3p5LoRn69os .node polygon,#mermaid-svg-ChnaX3p5LoRn69os .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-ChnaX3p5LoRn69os .rough-node .label text,#mermaid-svg-ChnaX3p5LoRn69os .node .label text,#mermaid-svg-ChnaX3p5LoRn69os .image-shape .label,#mermaid-svg-ChnaX3p5LoRn69os .icon-shape .label{text-anchor:middle;}#mermaid-svg-ChnaX3p5LoRn69os .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-ChnaX3p5LoRn69os .rough-node .label,#mermaid-svg-ChnaX3p5LoRn69os .node .label,#mermaid-svg-ChnaX3p5LoRn69os .image-shape .label,#mermaid-svg-ChnaX3p5LoRn69os .icon-shape .label{text-align:center;}#mermaid-svg-ChnaX3p5LoRn69os .node.clickable{cursor:pointer;}#mermaid-svg-ChnaX3p5LoRn69os .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-ChnaX3p5LoRn69os .arrowheadPath{fill:#333333;}#mermaid-svg-ChnaX3p5LoRn69os .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-ChnaX3p5LoRn69os .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-ChnaX3p5LoRn69os .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ChnaX3p5LoRn69os .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-ChnaX3p5LoRn69os .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ChnaX3p5LoRn69os .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-ChnaX3p5LoRn69os .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-ChnaX3p5LoRn69os .cluster text{fill:#333;}#mermaid-svg-ChnaX3p5LoRn69os .cluster span{color:#333;}#mermaid-svg-ChnaX3p5LoRn69os div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-ChnaX3p5LoRn69os .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-ChnaX3p5LoRn69os rect.text{fill:none;stroke-width:0;}#mermaid-svg-ChnaX3p5LoRn69os .icon-shape,#mermaid-svg-ChnaX3p5LoRn69os .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ChnaX3p5LoRn69os .icon-shape p,#mermaid-svg-ChnaX3p5LoRn69os .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-ChnaX3p5LoRn69os .icon-shape .label rect,#mermaid-svg-ChnaX3p5LoRn69os .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ChnaX3p5LoRn69os .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-ChnaX3p5LoRn69os .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-ChnaX3p5LoRn69os :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} CPU
内存
磁盘
网络
top / glances 看全局
哪类资源异常?
uptime/vmstat/mpstat
→ pidstat 定进程
→ pstack/strace 看栈和调用
free/pmap
→ available、Pss
iostat/df/du
→ await、%util、空间
sar/netstat/lsof
→ tcpdump 抓包
对照 CPU 原理
定位根因
量化指标 → 优化 → 验证
记住三层递进:全局工具定方向 → 进程工具定嫌疑人 → 协议/系统调用工具定证据。面试时把这条主线讲清楚,再配上具体命令和指标含义,基本就能拿到满意的反馈。
🐧 七、经典面试题
📌 Q1:CPU 使用率高但负载不高,可能是什么原因?
两者衡量的东西不同。CPU 使用率 是运行态进程抢占时间片的比例,只有真正在跑的进程才消耗;负载是运行队列里"运行 + 等待运行"的进程总数。如果只有少数几个计算密集型进程在跑,它们把 CPU 时间片占满,使用率很高,但队列里没有大量等待进程,负载就不高。反过来,大量进程在等 I/O 或锁时,负载会升高而 CPU 使用率未必高。所以两个指标要结合看,不能互相替代。
📌 Q2:平均负载的三个数值(1/5/15 分钟)怎么解读?
1 分钟反映短期趋势,15 分钟反映长期趋势。若 1min > 5min > 15min,说明负载快速上升,可能是拥塞前兆;若 1min < 15min,说明负载在回落、系统正在恢复。判断是否繁忙还要结合核数:单核 load < 2 良好、> 5 严重,多核按核数放大阈值。
📌 Q3:上下文切换过多有什么问题?怎么排查?
上下文切换要保存/恢复进程上下文,有系统开销,会推高 %sys、挤占业务时间片。常见原因:时间片耗尽、I/O 阻塞、锁竞争、主动让出 CPU、硬件中断。排查用 vmstat 看 cs 列,用 pidstat -w 看进程的自愿(cswch/s)和非自愿(nvcswch/s)切换,再用 top、pstack 定位具体进程和线程。
📌 Q4:%iowait 很高说明什么?怎么处理?
%iowait 是 CPU 等待 I/O 完成的时间占比。偏高通常意味着磁盘 I/O 压力大,常见于大量不合理日志写入、频繁数据载入、数据库操作。先用 pidstat -d、iostat -x 找出哪个进程在大量读写(看 await、%util),再优化 I/O 模式(如直接 I/O 改缓存 I/O)、减少无用日志、调整读写策略。
📌 Q5:硬中断和软中断有什么区别?
硬中断由硬件设备产生(键盘、网卡、磁盘),通过 IRQ 分发给对应驱动,会打断当前任务,多核下一个中断通常只中断一颗核。软中断由软件/内核产生,典型是系统调用,常用于处理 I/O 请求等可延后的场景。mpstat 的 %irq、%soft 分别是两者占用的 CPU 时间片比例,vmstat 的 in 是中断次数。
📌 Q6:性能优化如何量化效果?多个问题并存先优化哪个?
量化分三步:确定指标(至少覆盖应用维度如吞吐量/延迟,和系统资源维度如 CPU 使用率)、测优化前、测优化后,用前后对比呈现效果,并保证环境一致、工具不干扰。多问题并存时,先解决系统资源瓶颈(如 CPU 100%),再优先优化由瓶颈导致、指标变化幅度最大的问题,遵循二八原则,不必优化所有问题。
📌 Q7:free 命令里 free 和 available 有什么区别?
free 是真正未被使用的物理内存;available 是从应用视角看可用的内存。内核会用一部分内存做 buffer/cache 加速磁盘访问,这对内核是"已用",但应用需要时会回收,所以 available ≈ free + buffer + cache(理想情况)。判断内存够不够要看 available,只看 free 会误判内存紧张。
📌 Q8:一个服务把单核 CPU 打满、其他核很闲,用什么工具发现?怎么定位到线程?
全局平均指标(如 vmstat)会把多核摊平,看不出单核打满,要用 mpstat -P ALL 按核查看。定位线程:top 按 1 展开每核 → top -Hp <pid> 看该进程各线程 CPU → 找到高 CPU 线程的 LWP,转成十六进制 → pstack <pid> 找对应线程的调用栈,或 strace -p <线程tid> 看它在做什么系统调用。
📌 Q9:怎么判断一个进程是卡在 I/O 还是在忙计算?
综合看:CPU 维度用 top / pidstat -u 看 %usr(忙计算则用户态高)、%iowait 高说明在等 I/O;状态维度用 vmstat 的 b(不可中断睡眠)列,偏高说明卡在 I/O。进一步用 pstack 看调用栈------停在 epoll_wait/read/fwrite 是在等 I/O,停在业务计算函数是在忙算;用 strace -c -p 看时间花在哪个系统调用上,最直观。
📌 Q10:线上服务响应突然变慢,你的排查思路是什么?
先全局后细节、先指标后根因:① top/glances 看整体 CPU、内存、负载;② 按异常维度下钻------CPU 看 uptime/vmstat/mpstat + pidstat 定进程,内存看 free/pmap,磁盘看 iostat/df,网络看 sar -n DEV/netstat/lsof;③ 定到进程后用 pstack/strace 看栈和系统调用,网络问题用 tcpdump 抓包确认;④ 对照 CPU 原理和运行队列、上下文切换、中断等指标找根因;⑤ 用量化指标(吞吐量、延迟、CPU 使用率)测优化前后,验证效果。全程注意保持环境一致、避免工具本身干扰。