Linux 系统命令与网络、磁盘、日志监控(下篇):性能原理与优化

📖 目录

  • [🐧 一、高级工具:pstack、strace、/proc](#🐧 一、高级工具:pstack、strace、/proc)
    • [📌 pstack:打印线程栈](#📌 pstack:打印线程栈)
    • [📌 strace:跟踪系统调用](#📌 strace:跟踪系统调用)
    • [📌 /proc 文件系统](#📌 /proc 文件系统)
  • [🐧 二、日志监控工具](#🐧 二、日志监控工具)
    • [📌 tail:实时看日志并着色](#📌 tail:实时看日志并着色)
    • [📌 multitail:多窗口看日志](#📌 multitail:多窗口看日志)
  • [🐧 三、综合性能监控](#🐧 三、综合性能监控)
    • [📌 pmap:进程内存映射](#📌 pmap:进程内存映射)
    • [📌 nmon:性能采集与可视化](#📌 nmon:性能采集与可视化)
    • [📌 glances:一屏看全局](#📌 glances:一屏看全局)
    • [📌 w:谁在线、在干什么](#📌 w:谁在线、在干什么)
  • [🐧 四、CPU 性能原理篇](#🐧 四、CPU 性能原理篇)
    • [📌 CPU 使用率](#📌 CPU 使用率)
    • [📌 运行队列(runqueue)](#📌 运行队列(runqueue))
    • [📌 负载(Load)](#📌 负载(Load))
    • [📌 上下文切换](#📌 上下文切换)
    • [📌 中断](#📌 中断)
    • [📌 负载与 CPU 利用率的关系](#📌 负载与 CPU 利用率的关系)
    • [📌 遇到 CPU 使用率高怎么排查](#📌 遇到 CPU 使用率高怎么排查)
    • [📌 根据指标找工具 / 根据工具查指标](#📌 根据指标找工具 / 根据工具查指标)
    • [📌 如何快速分析 CPU 性能瓶颈](#📌 如何快速分析 CPU 性能瓶颈)
  • [🐧 五、性能优化方法论](#🐧 五、性能优化方法论)
    • [📌 评估优化效果](#📌 评估优化效果)
    • [📌 多个性能问题并存时的选择](#📌 多个性能问题并存时的选择)
    • [📌 性能指标总结](#📌 性能指标总结)
  • [🐧 六、两篇小结](#🐧 六、两篇小结)
  • [🐧 七、经典面试题](#🐧 七、经典面试题)
    • [📌 Q1:CPU 使用率高但负载不高,可能是什么原因?](#📌 Q1:CPU 使用率高但负载不高,可能是什么原因?)
    • [📌 Q2:平均负载的三个数值(1/5/15 分钟)怎么解读?](#📌 Q2:平均负载的三个数值(1/5/15 分钟)怎么解读?)
    • [📌 Q3:上下文切换过多有什么问题?怎么排查?](#📌 Q3:上下文切换过多有什么问题?怎么排查?)
    • [📌 Q4:%iowait 很高说明什么?怎么处理?](#📌 Q4:%iowait 很高说明什么?怎么处理?)
    • [📌 Q5:硬中断和软中断有什么区别?](#📌 Q5:硬中断和软中断有什么区别?)
    • [📌 Q6:性能优化如何量化效果?多个问题并存先优化哪个?](#📌 Q6:性能优化如何量化效果?多个问题并存先优化哪个?)
    • [📌 Q7:free 命令里 free 和 available 有什么区别?](#📌 Q7:free 命令里 free 和 available 有什么区别?)
    • [📌 Q8:一个服务把单核 CPU 打满、其他核很闲,用什么工具发现?怎么定位到线程?](#📌 Q8:一个服务把单核 CPU 打满、其他核很闲,用什么工具发现?怎么定位到线程?)
    • [📌 Q9:怎么判断一个进程是卡在 I/O 还是在忙计算?](#📌 Q9:怎么判断一个进程是卡在 I/O 还是在忙计算?)
    • [📌 Q10:线上服务响应突然变慢,你的排查思路是什么?](#📌 Q10:线上服务响应突然变慢,你的排查思路是什么?)

🐧 一、高级工具:pstack、strace、/proc

📌 pstack:打印线程栈

pstack 打印指定进程的调用栈,能快速看出进程当前卡在哪个函数上,是排查"进程 hang 住 / CPU 打满"的常用工具。

bash 复制代码
sudo apt install pstack

pstack <进程ID>

看一个聊天服务进程的真实栈:

bash 复制代码
root@chat-prod-01:~# pstack 25901
Thread 2 (Thread 0x7f950fd02700 (LWP 25902)):
#0  0x00007f9514a1ff73 in select () from /usr/lib64/libc.so.6
#1  0x00007f95136b95a5 in apr_sleep () from /usr/lib64/libapr-1.so.0
#2  0x00007f9514645f19 in ?? ()
#3  0x0000000001186ec0 in ?? ()
...
Thread 1 (Thread 0x7f9515b348c0 (LWP 25901)):
#0  0x00007f9514a29483 in epoll_wait () from /usr/lib64/libc.so.6
#1  0x000000000048604f in CEventDispatch::StartDispatch (this=0x1195600, wait_timeout=100)
       at /home/LJ/work/chatserver/src/base/EventDispatch.cpp:365
#2  0x0000000000479ad2 in netlib_eventloop (wait_timeout=100)
       at /home/LJ/work/chatserver/src/base/netlib.cpp:160
#3  0x000000000046f598 in main (argc=1, argv=0x7ffc278e13a8)
       at /home/LJ/work/chatserver/src/chat_server.cpp:132

解读:主线程停在 epoll_wait(正常,事件循环在等事件);辅助线程停在 select + apr_sleep(定时器线程在 sleep)。如果多次 pstack 都停在同一处业务函数,那多半就是卡点。配合 Java 的 jstack 能看到 JVM 线程全景。

💡 排查 CPU 打满的套路:top -Hp <pid> 找到高 CPU 线程 → 转成 16 进制 → pstack <pid> 里找对应线程(LWP)的栈。

📌 strace:跟踪系统调用

strace 跟踪进程的系统调用和信号,能看清一个程序"在背后到底干了什么",是研究 Linux 底层机制的利器。

常用参数:

参数 作用
-c 统计每个系统调用的时间、次数、出错次数
-d 输出关于标准错误的调试信息
-f 跟踪 fork 出的子进程
-ff 配合 -o filename,各进程输出到 filename.pid
-F 跟踪 vfork(用了 -f 时 vfork 默认不跟踪)
-h 帮助
-i 输出系统调用入口指针
-q 禁止输出脱离(detach)消息
-r 打印每个调用的相对时间
-t / -tt / -ttt 行前加时间 / 微秒级 / 以秒表示的微秒
-T 显示每个调用耗时
-v 输出所有系统调用(默认省略环境变量、状态等高频调用)
-V 版本信息
-x / -xx 非标准字符串 / 所有字符串以十六进制输出
-a column 设置返回值输出位置(默认 40)
-o file 输出写入文件
-p pid 跟踪指定进程
-s strsize 字符串最大输出长度(默认 32)
-u username 以指定用户 UID/GID 执行

-e expr 过滤表达式 :格式为 [qualifier=][!]value1[,value2]...,qualifier 可取 trace、abbrev、verbose、raw、signal、read、write,默认 trace;! 表示取反。

bash 复制代码
-e open                  # 等价于 -e trace=open,只跟踪 open
-e trace!=open           # 跟踪除 open 外的调用(注意 shell 的历史展开,用 \! 转义)
-e trace=open,close,read,write    # 只跟这四个(默认 set=all)
-e trace=file            # 只跟文件操作相关
-e trace=process         # 只跟进程控制相关
-e trace=network         # 只跟网络相关
-e trace=ipc             # 只跟进程通信相关
-e trace=signal          # 只跟信号相关(原文写作 strace=signal,实为 trace)
-e signal=!SIGIO         # 不跟踪 SIGIO
-e read=3,5              # 输出从 fd 3、5 读出的数据
-e write=3               # 输出写入 fd 3 的数据
-e abbrev=none           # 等价于 -v,展开所有结果
-e raw=network           # 参数以十六进制显示

all 和 none 是两个特殊值。

实时查看进程:

bash 复制代码
root@chat-prod-01:~# strace -p 25901
strace: Process 25901 attached
gettimeofday({1566530771, 437813}, NULL) = 0
epoll_wait(6, [], 1024, 100)            = 0
gettimeofday({1566530771, 538318}, NULL) = 0
gettimeofday({1566530771, 538424}, NULL) = 0
epoll_wait(6, [], 1024, 100)            = 0
gettimeofday({1566530771, 638872}, NULL) = 0
epoll_wait(6, [], 1024, 100)            = 0

看到的就是一个 epoll 事件循环:反复 gettimeofday 取时间 + epoll_wait 等事件,100ms 超时返回一次。

测试一段时间内的系统调用统计:

bash 复制代码
root@chat-prod-01:~# strace -c -p 25901
strace: Process 25901 attached
^Cstrace: Process 25901 detached
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 88.29    0.002972          19       160           epoll_wait
  7.31    0.000246           1       198           gettimeofday
  4.19    0.000141          47         3           sendto
  0.12    0.000004           1         4         2 recvfrom
  0.09    0.000003           2         2           ioctl
------ ----------- ----------- --------- --------- ----------------
100.00    0.003366                   367         2 total

输入 strace -c -p 25901 后让它跑一会儿,按 Ctrl+C 退出就会打印这张统计表,一眼看出时间都花在哪个系统调用上。

📌 /proc 文件系统

Linux 内核通过 /proc 伪文件系统暴露运行时内部数据结构,既能查看也能改内核参数。

bash 复制代码
cat /proc/cpuinfo      # CPU 信息
cat /proc/meminfo      # 内存信息
cat /proc/zoneinfo     # 详细内存映射
cat /proc/mounts       # 磁盘挂载
cat /proc/loadavg      # 系统平均负载(uptime 的数据来源)
cat /proc/softirqs     # 各类软中断计数(排查软中断问题必看)
cat /proc/interrupts   # 中断统计

cat /proc/loadavg 的输出形如 0.21 0.57 0.52 2/530 32089:前三个是 1/5/15 分钟负载,2/530 是可运行进程数/总进程数,32089 是最后一个进程 PID。

🐧 二、日志监控工具

📌 tail:实时看日志并着色

tail -f 实时追日志是最日常的操作。配合 perl 能给不同级别上色,肉眼排查效率提升明显------INF 绿、WARN 黄、ERROR 红:

bash 复制代码
tail -f /data/chatserver/log/chat.log | perl -pe \
  's/(INF)/\e[0;32m$1\e[0m/g,s/(WARN)/\e[0;33m$1\e[0m/g,s/(ERROR)/\e[1;31m$1\e[0m/g'

常用变体:

bash 复制代码
tail -f app.log                    # 实时追
tail -100f app.log                 # 先显示最后 100 行再追
tail -F app.log                    # 跟随文件名(日志轮转后自动跟新文件)

📌 multitail:多窗口看日志

multitail 能在同一屏幕开多个视窗看日志,特别适合同时盯部署在多台机器上的项目日志。

bash 复制代码
-cS [color_scheme]    # 选择输出配色,推荐 goldengate,也可改 /etc/multitail.conf 自定义
bash 复制代码
multitail /data/chatserver/log/chat.log /data/chatserver/log/access.log

🐧 三、综合性能监控

📌 pmap:进程内存映射

pmap [options] PID 显示进程的地址空间和内存状态。它原本是 Sun OS 的命令,Linux 只支持有限功能,但对查看完整进程地址空间很有帮助。PID 可通过 /proc、top、ps 得到。

bash 复制代码
root@chat-prod-01:~# pmap -x 25901
25901:   ./chat_server
Address           Kbytes     RSS   Dirty Mode  Mapping
0000000000400000    1096     144       0 r-x-- chat_server
0000000000711000       4       4       0 r---- chat_server
0000000000712000       4       4       4 rw--- chat_server
00007f950f502000       4       0       0 -----   [ anon ]
00007f950f503000    8192       8       8 rw---   [ anon ]
00007f950fd03000     384       8       0 r-x-- libpcre.so.1.2.0
00007f950fd63000    2048       0       0 ----- libpcre.so.1.2.0
...
00007ffc279ba000       8       8       0 r-x--   [ anon ]
ffffffffff600000       4       0       0 r-x--   [ anon ]
---------------- ------- ------- -------
total kB          170028    2304     504

-X 能输出更详细版本。

输出里大量 [ anon ] 行表示磁盘上没有对应文件,一般是可执行文件或动态库里的 bss 段;有对应文件的 mapping 也可能是匿名映射(如文件的数据段)。

关键字段(-x 输出部分):

字段 含义
Size 映射区域在虚拟内存中的大小
Rss 当前占用物理内存大小
Shared_Clean 与其他进程共享、未被改写的页
Shared_Dirty 与其他进程共享、已被改写的页
Private_Clean 未被改写的私有页
Swap 非 mmap 内存(如 malloc 分配的匿名内存)被换到 swap 的大小
Pss 平摊计算后的物理内存占用

Pss 尤其有用:如果一块 1000KB 的物理内存被两个进程映射,每个进程平摊 500KB,Pss 就是 500KB。多台进程共享动态库时,用 Pss 统计总内存比简单相加 RSS 准确得多。

💡 查"某进程到底吃了多少内存",用 pmap -x <pid> | tail -1 看 total,或 grep Pss /proc/<pid>/smaps_rollup。

📌 nmon:性能采集与可视化

nmon 一屏展示 CPU、内存、网络、磁盘等多维信息,还能后台采集生成文件供事后分析。

安装:

bash 复制代码
# centos:下载对应系统的二进制
wget http://sourceforge.net/projects/nmon/files/nmon16e_mpginc.tar.gz
mkdir nmon16e_mpginc
tar -xvfz nmon16e_mpginc.tar.gz -C nmon16e_mpginc
cd nmon16e_mpginc
chmod +x nmon_x86_64_centos7
mv nmon_x86_64_centos7 /usr/bin/nmon    # 放到 PATH 里随处可用

# ubuntu
sudo apt-get install nmon
nmon

后台采集:配合性能测试,把一段时间内的资源消耗记录下来:

bash 复制代码
./nmon/nmon_x86_64_rhel7 -f -N -m /nmon/log -s 30 -c 120
参数 含义
-f 按标准格式输出文件:_YYYYMMDD_HHMM.nmon
-N 包含 NFS 部分
-m 切换路径保存日志
-s 采样间隔秒数(这里 30)
-c 采样次数(这里 120)

采集时长 = 采样次数 × 间隔 = 120 × 30 / 3600 = 1 小时 。通用公式 c = h × 3600 / s:想监控 10 小时、每 30 秒采样一次,就是 c = 10 × 3600 / 30 = 1200。

启动后自动生成监控文件并持续写入,直到 120 个点采集完成,全程无需人工干预。想提前停止,用 ps -ef | grep nmon 查 PID 后 kill 掉。

定时任务 :做运营期的定期监控,用 crontab -e 在最后一行加:

bash 复制代码
0 8 * * 1,2,3,4,5 /nmon/nmon_x86_64_rhel7 -f -N -m /nmon/log -s 30 -c 1200

表示周一到周五每天早 8 点开始,监控 10 小时(到 18:00)输出到 /nmon/log。

可视化 :生成的 .nmon 文件可用 nmonchart(Google Charts 生成 HTML 报告)或 nmon_analyser(Excel 插件)转成图表。

📌 glances:一屏看全局

glances 用一个屏幕展示 CPU、内存、网络、磁盘、进程等所有信息,是"只想快速掌握系统整体状况"时的利器。

安装:

bash 复制代码
# centos
yum install -y glances
# ubuntu
sudo apt-add-repository ppa:arnaud-hartmann/glances-stable
sudo apt-get update
sudo apt-get install glances

glances      # 启动

运行时快捷键:

键 作用
a 进程自动排序
c / m / p / i 按 CPU / 内存 / 名称 / I/O 排序
d / f / n 显示或隐藏磁盘 I/O / 文件系统 / 网络接口
s / y / l 显示或隐藏传感器 / 硬盘温度 / 日志
b 切换网络 I/O 单位 Bytes/bits
w / x 删除警告日志 / 删除警告和严重日志
1 切换全局 CPU 与每核 CPU
t / u 组合 / 累计形式浏览网络 I/O
h 帮助;q、ESC、Ctrl+C 退出

📌 w:谁在线、在干什么

w 显示谁登录了系统以及各自在执行的程序。

bash 复制代码
root@chat-prod-01:~# w -h
root     pts/0    192.168.1.66  10:58    2.00s  0.23s  0.23s -bash
root     pts/2    192.168.1.66  11:30   26.00s  0.06s  0.00s tail -f /data/chatserver/log/chat.log
root     pts/3    192.168.1.66  11:53    1:30   0.03s  0.03s -bash

-h 省略标题行。能看出登录来源 IP、空闲时间(IDLE)、CPU 用时(JCPU/PCPU)和当前命令(WHAT)。

🐧 四、CPU 性能原理篇

服务端性能测试里,CPU 使用率是衡量系统性能的重要指标。Linux CPU 主要关注利用率、运行队列、负载、上下文切换四类指标。

📌 CPU 使用率

Linux 把 CPU 时间按维度统计:

指标 含义
%usr 普通进程在用户态执行的时间
%sys 进程在内核态执行的时间
%nice 调整过优先级的进程在用户态的时间
%idle 空闲时间
%iowait 等待 I/O 完成的时间
%irq 处理硬中断的时间
%soft 处理软中断的时间
%steal 虚拟机时间片被同宿主机其他 VM 占用(高说明宿主机到瓶颈)

一般情况下,CPU 大部分时间片消耗在用户态和内核态。sys 和 user 比例相互影响:%sys 高说明服务频繁在用户态和内核态之间切换,带来额外开销,处理业务的时间片就少了。

  • I/O 密集型系统 (网络 I/O 或磁盘 I/O)会产生大量中断,%sys 相对升高
  • 磁盘 I/O 密集型 系统读写占用大量 CPU,%iowait 会明显升高------这时要排查是否有大量不合理日志操作、频繁数据载入

用 top、vmstat、mpstat 查看:

text 复制代码
# top
%Cpu(s): 0.9 us, 0.6 sy, 0.0 ni, 98.4 id, 0.1 wa, 0.0 hi, 0.0 si, 0.0 st

# vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r b swpd free buff cache si so bi bo in cs us sy id wa
 1 0 1061592 15986 395216 91660 0 0 3 9 0 0 5 1 94 0

# mpstat
CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
all 0.92 0.00 0.50 0.17 0.00 0.00 0.00 4.14 94.27

📌 运行队列(runqueue)

内核要找新进程上 CPU 时,只考虑处于 TASK_RUNNING 状态的进程------扫描整个进程链表太低效,于是引入了可运行进程的双向循环链表,即运行队列。

每个 CPU 核都维护自己的运行队列,存放 running 和 runnable 两种状态的进程。CPU 不断调度队列里的进程,队列里进程越多,每个进程分到的时间片越少,响应时间越长,同时 CPU 持续处于运行状态,开销大。观察一段时间内运行队列长度,就能判断 CPU 是否到瓶颈------这就是"负载"概念的由来。

📌 负载(Load)

CPU 负载指一段时间内,正在处理 + 等待 CPU 处理的进程数之和,即运行队列长度。**平均负载(Load Average)**是这段时间内运行队列的平均进程数。Load Average 越高,CPU 资源竞争越激烈;长期"热竞争"对硬件也是一种损耗。

用一个售票窗口的比喻理解:

  • 10 个窗口、1 个人买票:随便找个窗口就办完,还有 9 个窗口空着------负载 0.1,毫无压力
  • 10 个窗口、10 个人:一人一窗,全部窗口都在工作------负载 1,满载
  • 10 个窗口、20 个人:开始排队------负载 2,全负荷且有排队
  • 10 个窗口、100/200 人:售票员不停工作,得考虑开新窗口(扩容)

但真实 CPU 和售票不同:CPU 给每个进程分配固定时间片,时间片内没处理完就挂起、处理下一个,产生中断。高负载下不断发生进程切换,产生大量中断和开销。经验值:单核负载 < 2 性能良好,> 5 说明存在严重性能问题(多核按核数放大)。

查看负载:

bash 复制代码
top                  # top - 10:45:06 up 406 days, ..., load average: 0.35, 0.63, 0.54
uptime               # 10:45:23 up 406 days, ..., load average: 0.27, 0.60, 0.53
cat /proc/loadavg    # 0.21 0.57 0.52 2/530 32089

📌 上下文切换

一个 Linux 内核能支持运行 50~50000 个进程,内核调度执行这些进程,每个进程分到时间片运行。当一个进程用完时间片、或被更高优先级进程抢占后,它被放回运行队列,另一个进程上 CPU------这个切换过程就是上下文切换。

Linux 有内核态和用户态两种运行级别,内核态级别更高、能做任何操作。发生切换时,用户态应用通过系统调用进入内核空间,调用完成后返回用户态,因此上下文切换存在系统开销,会推高 %sys。

进程的"上下文"指 CPU 寄存器值、进程状态、堆栈内容。内核切换到别的进程时,要保存当前进程的全部状态到任务数据结构,以便下次恢复。发生中断时,内核在被中断进程的上下文中、在内核态执行中断服务例程,同时保留所需资源以便中断结束后恢复。

引起上下文切换的原因(抢占式系统):

  1. 当前任务时间片用完,CPU 正常调度下一个
  2. 当前任务遇到 I/O 阻塞,被挂起
  3. 多个任务抢锁,当前任务没抢到被挂起
  4. 用户代码主动挂起当前任务、让出 CPU
  5. 硬件中断

⚠️ 上篇提过:vmstat 的 cs 列是上下文切换次数 ,in 列才是中断次数。

📌 中断

中断指 CPU 执行程序时,因某种随机事件(外部或内部)暂时中断当前程序,转去执行一段特殊服务程序(中断服务程序),处理完再返回继续执行。引入中断的原因:

  1. 提高数据传输率
  2. 避免 CPU 不断轮询外设状态,提高利用率
  3. 实现对特殊事件的实时响应(缺页中断、设备中断、异常、实时钟等)

按中断源分两类:

类型 别称 来源 特点
硬中断 外部中断 硬件(键盘、鼠标、网卡、磁盘) 每个设备有 IRQ,CPU 据此分发给驱动;会打断当前任务;多核下一个中断通常只中断一颗核
软中断 内部中断 软件/内核 常由硬中断处理程序或调度程序触发,即系统调用;多在处理 I/O 请求时发生

I/O 密集型系统可能出现大量中断请求,中断产生中断上下文,带来 CPU 开销。

查看中断:

bash 复制代码
# vmstat:in 列是中断次数
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0  54484 343748 687816 45583564    0    0     1     3    0    0  1  0 99  0

# mpstat:%irq 硬中断、%soft 软中断占比
11:30:28     CPU  %usr  %nice  %sys %iowait  %irq  %soft %steal %guest %idle
11:30:28     all  0.63   0.00  0.32    0.06  0.00   0.11   0.00   0.00 98.88

📌 负载与 CPU 利用率的关系

CPU 利用率高,负载一定高吗?不一定。

  • CPU 利用率:进程抢占 CPU 时间片的比例,只有运行态进程才消耗时间片;所需时间片多少取决于进程计算逻辑的复杂度
  • 负载:运行队列中等待 + 运行的进程数总和

负载很高时,可能只是等待运行的进程多,它们并不占用多少时间片;队列中消耗的 CPU 也可能集中在少数几个计算密集型进程上。所以两者没有硬性比例关系,衡量 CPU 性能要同时看两个指标、综合考虑(这也是上篇面试题 Q1 的核心)。

📌 遇到 CPU 使用率高怎么排查

先确认 CPU 消耗在用户态还是内核态。

内核态占用高:

  1. %iowait 高 → 关注磁盘 I/O,是否有不合理写日志、数据库操作
  2. %soft 或 cs 高 → 看 CPU 负载高不高、网卡流量大不大,能否精简数据、代码在多线程操作上是否有不合适的中断
  3. %steal 高 → 一般发生在虚拟机,查宿主机是否资源超限

用户态高且没达到预期性能 → 应用程序本身需要优化。

📌 根据指标找工具 / 根据工具查指标

生产环境希望尽快定位瓶颈、尽快优化。CPU 指标虽多,但并非孤立,很多指标有关联,弄清关联就要理解每个指标的工作原理。

日常用 top、vmstat、pidstat 三个工具排查,因为它们支持的指标最多:

工具 能提供的关键指标
top 各种 CPU 使用率、僵尸进程、平均负载
vmstat 上下文切换次数、中断次数、运行/不可中断状态进程数
pidstat 进程用户 CPU、系统 CPU、自愿/非自愿上下文切换

📌 如何快速分析 CPU 性能瓶颈

三个典型套路:

  1. top 发现用户 CPU 使用率高 → 用 pidstat 接着分析是哪个进程导致的
  2. top 的平均负载高 → 和 vmstat 的运行态、不可中断态进程数对比,看是哪种进程导致负载升高
  3. top 输出软中断 CPU 使用率高 → 查看 /proc/softirqs 里各类软中断变化,确定哪种软中断出问题;比如发现是网络接收中断,继续用 sar 和 tcpdump 分析

🐧 五、性能优化方法论

📌 评估优化效果

性能优化绕不开三个问题:

  1. 怎么判断优化有没有效、提升多少?
  2. 多个性能问题同时发生,先优化哪个?
  3. 提升性能的方法不唯一,选哪种?是不是总选提升最大的?

以"某进程用直接 I/O 导致 iowait 很高,改成缓存 I/O"为例:

  1. 效果:iowait 从 90% 降到接近 0,提升明显
  2. 选择:没发现其他瓶颈,直接 I/O 是唯一瓶颈,不用挑
  3. 方法:缓存 I/O 是最简单的方案,且不影响功能

但真实情况复杂得多:性能指标多重、问题可能并发、优化一个指标可能导致另一个下降。所以要量化:

  1. 确定性能的量化指标
  2. 测试优化前的指标
  3. 测试优化后的指标

量化指标不要局限单一维度,至少从两方面选:

  • 应用程序维度:吞吐量、请求延迟(Web 应用典型)
  • 系统资源维度:CPU 使用率

两者相辅相成:好的应用程序是优化的最终目的,系统优化总是为应用服务,所以必须用应用指标评估整体效果;而系统资源使用是应用性能的根源,要用系统指标观察和分析瓶颈来源。

测试时注意:

  1. 避免性能测试工具本身干扰应用性能
  2. 避免外部环境变化影响评估------优化前后要跑在相同配置的机器上,外部依赖也要完全一致

📌 多个性能问题并存时的选择

按二八原则,找到关键 20% 就能优化 80% 的性能,不是所有问题都值得优化。

优化前先分析所有问题,找出最重要、能最大程度提升性能的那个,从它开始。简化判断过程:

  1. 系统资源到瓶颈优先:比如 CPU 100%,首先优化系统资源使用,解决后才考虑其他
  2. 变化幅度大的优先:针对不同类型指标,先优化那些由瓶颈导致、指标变化幅度最大的问题。比如瓶颈导致用户 CPU 升 10%、系统 CPU 升 50%,就先优化系统 CPU

📌 性能指标总结

一组经验值可作参考:

  1. 每个 CPU 的运行队列不要超过 2(双核不要超过 4)
  2. CPU 满负荷时,时间分布应大致符合:
    • User Time:65%~70%,高于此值考虑优化应用程序
    • System Time:30%~35%,高于此值观察是否有过多中断或上下文切换
    • Idle:0%~5%
  3. 上下文切换要结合 CPU 使用率看:如果 CPU 使用符合上述分布,大量上下文切换也可以接受

🐧 六、两篇小结

把上篇的"命令工具箱"和下篇的"原理方法论"串成一条排查主线:
#mermaid-svg-ChnaX3p5LoRn69os{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-ChnaX3p5LoRn69os .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-ChnaX3p5LoRn69os .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-ChnaX3p5LoRn69os .error-icon{fill:#552222;}#mermaid-svg-ChnaX3p5LoRn69os .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-ChnaX3p5LoRn69os .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-ChnaX3p5LoRn69os .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-ChnaX3p5LoRn69os .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-ChnaX3p5LoRn69os .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-ChnaX3p5LoRn69os .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-ChnaX3p5LoRn69os .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-ChnaX3p5LoRn69os .marker{fill:#333333;stroke:#333333;}#mermaid-svg-ChnaX3p5LoRn69os .marker.cross{stroke:#333333;}#mermaid-svg-ChnaX3p5LoRn69os svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-ChnaX3p5LoRn69os p{margin:0;}#mermaid-svg-ChnaX3p5LoRn69os .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-ChnaX3p5LoRn69os .cluster-label text{fill:#333;}#mermaid-svg-ChnaX3p5LoRn69os .cluster-label span{color:#333;}#mermaid-svg-ChnaX3p5LoRn69os .cluster-label span p{background-color:transparent;}#mermaid-svg-ChnaX3p5LoRn69os .label text,#mermaid-svg-ChnaX3p5LoRn69os span{fill:#333;color:#333;}#mermaid-svg-ChnaX3p5LoRn69os .node rect,#mermaid-svg-ChnaX3p5LoRn69os .node circle,#mermaid-svg-ChnaX3p5LoRn69os .node ellipse,#mermaid-svg-ChnaX3p5LoRn69os .node polygon,#mermaid-svg-ChnaX3p5LoRn69os .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-ChnaX3p5LoRn69os .rough-node .label text,#mermaid-svg-ChnaX3p5LoRn69os .node .label text,#mermaid-svg-ChnaX3p5LoRn69os .image-shape .label,#mermaid-svg-ChnaX3p5LoRn69os .icon-shape .label{text-anchor:middle;}#mermaid-svg-ChnaX3p5LoRn69os .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-ChnaX3p5LoRn69os .rough-node .label,#mermaid-svg-ChnaX3p5LoRn69os .node .label,#mermaid-svg-ChnaX3p5LoRn69os .image-shape .label,#mermaid-svg-ChnaX3p5LoRn69os .icon-shape .label{text-align:center;}#mermaid-svg-ChnaX3p5LoRn69os .node.clickable{cursor:pointer;}#mermaid-svg-ChnaX3p5LoRn69os .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-ChnaX3p5LoRn69os .arrowheadPath{fill:#333333;}#mermaid-svg-ChnaX3p5LoRn69os .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-ChnaX3p5LoRn69os .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-ChnaX3p5LoRn69os .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ChnaX3p5LoRn69os .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-ChnaX3p5LoRn69os .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ChnaX3p5LoRn69os .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-ChnaX3p5LoRn69os .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-ChnaX3p5LoRn69os .cluster text{fill:#333;}#mermaid-svg-ChnaX3p5LoRn69os .cluster span{color:#333;}#mermaid-svg-ChnaX3p5LoRn69os div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-ChnaX3p5LoRn69os .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-ChnaX3p5LoRn69os rect.text{fill:none;stroke-width:0;}#mermaid-svg-ChnaX3p5LoRn69os .icon-shape,#mermaid-svg-ChnaX3p5LoRn69os .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ChnaX3p5LoRn69os .icon-shape p,#mermaid-svg-ChnaX3p5LoRn69os .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-ChnaX3p5LoRn69os .icon-shape .label rect,#mermaid-svg-ChnaX3p5LoRn69os .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ChnaX3p5LoRn69os .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-ChnaX3p5LoRn69os .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-ChnaX3p5LoRn69os :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} CPU
内存
磁盘
网络
top / glances 看全局
哪类资源异常?
uptime/vmstat/mpstat

→ pidstat 定进程

→ pstack/strace 看栈和调用
free/pmap

→ available、Pss
iostat/df/du

→ await、%util、空间
sar/netstat/lsof

→ tcpdump 抓包
对照 CPU 原理

定位根因
量化指标 → 优化 → 验证

记住三层递进:全局工具定方向 → 进程工具定嫌疑人 → 协议/系统调用工具定证据。面试时把这条主线讲清楚,再配上具体命令和指标含义,基本就能拿到满意的反馈。

🐧 七、经典面试题

📌 Q1:CPU 使用率高但负载不高,可能是什么原因?

两者衡量的东西不同。CPU 使用率 是运行态进程抢占时间片的比例,只有真正在跑的进程才消耗;负载是运行队列里"运行 + 等待运行"的进程总数。如果只有少数几个计算密集型进程在跑,它们把 CPU 时间片占满,使用率很高,但队列里没有大量等待进程,负载就不高。反过来,大量进程在等 I/O 或锁时,负载会升高而 CPU 使用率未必高。所以两个指标要结合看,不能互相替代。

📌 Q2:平均负载的三个数值(1/5/15 分钟)怎么解读?

1 分钟反映短期趋势,15 分钟反映长期趋势。若 1min > 5min > 15min,说明负载快速上升,可能是拥塞前兆;若 1min < 15min,说明负载在回落、系统正在恢复。判断是否繁忙还要结合核数:单核 load < 2 良好、> 5 严重,多核按核数放大阈值。

📌 Q3:上下文切换过多有什么问题?怎么排查?

上下文切换要保存/恢复进程上下文,有系统开销,会推高 %sys、挤占业务时间片。常见原因:时间片耗尽、I/O 阻塞、锁竞争、主动让出 CPU、硬件中断。排查用 vmstat 看 cs 列,用 pidstat -w 看进程的自愿(cswch/s)和非自愿(nvcswch/s)切换,再用 top、pstack 定位具体进程和线程。

📌 Q4:%iowait 很高说明什么?怎么处理?

%iowait 是 CPU 等待 I/O 完成的时间占比。偏高通常意味着磁盘 I/O 压力大,常见于大量不合理日志写入、频繁数据载入、数据库操作。先用 pidstat -d、iostat -x 找出哪个进程在大量读写(看 await、%util),再优化 I/O 模式(如直接 I/O 改缓存 I/O)、减少无用日志、调整读写策略。

📌 Q5:硬中断和软中断有什么区别?

硬中断由硬件设备产生(键盘、网卡、磁盘),通过 IRQ 分发给对应驱动,会打断当前任务,多核下一个中断通常只中断一颗核。软中断由软件/内核产生,典型是系统调用,常用于处理 I/O 请求等可延后的场景。mpstat 的 %irq、%soft 分别是两者占用的 CPU 时间片比例,vmstat 的 in 是中断次数。

📌 Q6:性能优化如何量化效果?多个问题并存先优化哪个?

量化分三步:确定指标(至少覆盖应用维度如吞吐量/延迟,和系统资源维度如 CPU 使用率)、测优化前、测优化后,用前后对比呈现效果,并保证环境一致、工具不干扰。多问题并存时,先解决系统资源瓶颈(如 CPU 100%),再优先优化由瓶颈导致、指标变化幅度最大的问题,遵循二八原则,不必优化所有问题。

📌 Q7:free 命令里 free 和 available 有什么区别?

free 是真正未被使用的物理内存;available 是从应用视角看可用的内存。内核会用一部分内存做 buffer/cache 加速磁盘访问,这对内核是"已用",但应用需要时会回收,所以 available ≈ free + buffer + cache(理想情况)。判断内存够不够要看 available,只看 free 会误判内存紧张。

📌 Q8:一个服务把单核 CPU 打满、其他核很闲,用什么工具发现?怎么定位到线程?

全局平均指标(如 vmstat)会把多核摊平,看不出单核打满,要用 mpstat -P ALL 按核查看。定位线程:top 按 1 展开每核 → top -Hp <pid> 看该进程各线程 CPU → 找到高 CPU 线程的 LWP,转成十六进制 → pstack <pid> 找对应线程的调用栈,或 strace -p <线程tid> 看它在做什么系统调用。

📌 Q9:怎么判断一个进程是卡在 I/O 还是在忙计算?

综合看:CPU 维度用 top / pidstat -u 看 %usr(忙计算则用户态高)、%iowait 高说明在等 I/O;状态维度用 vmstat 的 b(不可中断睡眠)列,偏高说明卡在 I/O。进一步用 pstack 看调用栈------停在 epoll_wait/read/fwrite 是在等 I/O,停在业务计算函数是在忙算;用 strace -c -p 看时间花在哪个系统调用上,最直观。

📌 Q10:线上服务响应突然变慢,你的排查思路是什么?

先全局后细节、先指标后根因:① top/glances 看整体 CPU、内存、负载;② 按异常维度下钻------CPU 看 uptime/vmstat/mpstat + pidstat 定进程,内存看 free/pmap,磁盘看 iostat/df,网络看 sar -n DEV/netstat/lsof;③ 定到进程后用 pstack/strace 看栈和系统调用,网络问题用 tcpdump 抓包确认;④ 对照 CPU 原理和运行队列、上下文切换、中断等指标找根因;⑤ 用量化指标(吞吐量、延迟、CPU 使用率)测优化前后,验证效果。全程注意保持环境一致、避免工具本身干扰。

相关推荐
金色熊族19 分钟前
qt5.15.9编译qt-creator7.0.2源码
linux·qt
Rabitebla42 分钟前
【Linux】文件篇(五):手撕简易 FILE——模拟实现 C 标准 I/O 缓冲机制
linux·服务器·c语言·笔记·学习·ubuntu
蜗牛一步步往上爬1 小时前
第十章 使用编辑器
linux
nice_lcj5203 小时前
【从零理解计算机网络 · 13】DNS 解析全流程:域名怎么变成 IP,慢在哪
网络·计算机网络·面试·dns·域名解析·cname·ttl
鹤落晴春5 小时前
MySQL日志梳理
运维·数据库·mysql
无足鸟ICT5 小时前
【RHCA+】swap和物理内存
linux
zly35007 小时前
esxi安装 windows2000 鼠标不动
运维·服务器
AR-26710-9 小时前
docker Day2——镜像 / 容器 / 仓库
运维·docker·容器
分布式存储与RustFS10 小时前
旧 ledger 堆满 Bookie 磁盘:用 Pulsar 分层存储把冷数据卸进 RustFS
运维·云原生·开源·对象存储·分布式存储·s3·性能基准