一、cpu性能工具
1.平均负载：uptime(最简单)、top（提供了最全的指标）、/proc/loadavg（常用于监控系统）
2.系统cpu使用率：vmstat、mpstat、top、sar（记录历史数据）、/proc/stat（常用于监控） vmstat、mpstat、top只可以动态查看
3.进程cpu使用率：top、ps、pidstat（只显示实际用了cpu的进程）、htop、atop top、ps可按cpu使用率排序 htop、atop以不同颜色显示更直观
注 ：pidstat等效于pidstat -u -p ALL
%usr：进程在用户空间占用cpu的百分比
%system：进程在内核空间占用cpu的百分比
%guest：进程在虚拟机占用cpu的百分比
%CPU：进程占用cpu的百分比
CPU：处理进程的cpu编号
Command：当前进程对应的命令
4.系统上下文切换：vmstat
5.进程上下文切换：pidstat -w
6.软中断：top（提供软中断cpu使用率）、mpstat、/proc/softirqs提供了各种软中断在每个cpu上的运行次数
**7.硬中断：vmstat(提供总的中断次数)、/proc/interrupts（提供各种中断在每个cpu上运行的累计次数） **
注：
(1) 硬中断
由与系统相连的外设(比如网卡、硬盘)自动产生的。主要是用来通知操作系统系统外设状态的变化。比如当网卡收到数据包
的时候，就会发出一个中断。我们通常所说的中断指的是硬中断(hardirq)。
(2) 软中断
为了满足实时系统的要求，中断处理应该是越快越好。linux为了实现这个特点，当中断发生的时候，硬中断处理那些短时间
就可以完成的工作，而将那些处理事件比较长的工作，放到中断之后来完成，也就是软中断(softirq)来完成。
8.网络：dstat和sar提供总的网络接受和发送情况、tcpdump抓包
注 ：dstat显示结果含义
CPU状态 CPU的使用率。显示了用户占比，系统占比、空闲占比、等待占比、硬中断和软中断情况。
磁盘统计 磁盘的读写，分别显示磁盘的读、写总数。
网络统计 网络设备发送和接受的数据，分别显示的网络收、发数据总数。
分页统计 系统的分页活动。分别显示换入（in）和换出（out）。
系统统计 统计中断（int）和上下文切换（csw）。
9.i/o：dstat、sar都提供i/o的整体情况
注 ：sar命令参数
-A:所有报告的总和
-b:显示I/O和传递速率的统计信息
-B:显示换页状态
-d:输出每一块磁盘的使用信息
-e:设置显示报告的结束时间
-f:从制定的文件读取报告
-i:设置状态信息刷新的间隔时间
-P:报告每个CPU的状态
-R:显示内存状态
--u:输出cpu使用情况和统计信息
--v:显示索引节点、文件和其他内核表的状态
-w:显示交换分区的状态
-x:显示给定进程的装态
-r:报告内存利用率的统计信息
10.cpu缓存：perf，使用perf stat子命令
**11.cpu数：lscpu(更直观)、/proc/cpuinfo **
12.事件刨析：perf和火焰团用来分析热点函数、execsnoop检测短时进程
13.动态追踪：ftrace（用于跟踪内核函数调用栈）、bcc和systemtab用于跟踪内核或应用程序的执行过程
二、内存性能工具
**1.系统已用、可用、剩余内存：free(最简单)、vmstat和sar更全面、/proc/meminfo是其他工具的数据来源，常用于监控 **
2.进程虚拟内存、常驻内存、共享内存：ps和top最简单、pidstat -r、/proc/pid/stat和/proc/pid/status是其他工具的数据来源，常用于监控系统
3.进程内存分布：pmap、/proc/pid/maps是pmap的数据来源
4.进程swap换出内存：top、/proc/pid/status是top的数据来源
5.进程缺页异常：ps、top、pidstat -r
6.系统换页情况：sar -B
7.缓存缓冲区用量：free、vmstat（最常用）、sar、cachestat（需要安装bcc）
8.缓存缓冲区命中率：cachetop（需要安装bcc）
9.swap已用空间和剩余空间：free（最简单）、sar（可以记录历史）
10.swap换入换出：vmstat（最简单）、sar（可以记录历史）
11.内存泄露检测：memleak（需要安装bcc）、valgrind（可在旧版本如3.x内核中使用）
12.指定文件的缓存大小：pcstat（需要从源码中下载安装）
三、文件系统和磁盘i/o性能工具
1.文件系统空间容量、使用量以及剩余空间：df详细文档可执行info coreutils'df invocation'命令查询
2.索引节点容量、使用量以及剩余空间：df -i
3.页缓存和可回收slab缓存：/proc/meminfo是数据来源，常用于监控、sar -r、vmstat
4.缓冲区：/proc/meminfo是数据来源，常用于监控、sar -r、vmstat
5.目录项、索引节点以及文件系统的缓存：/proc/slapinfo（常用于监控）、slaptop（更直观）
6.磁盘io使用率、iops（Input/Output Per Second）、吞吐量、响应时间、io平均大小以及等待队列长度：iostat(最常用，注意使用iostat -d -x或者sar -d)、sar、dsata、/proc/diskstats是数据来源，常用于监控
7.进程io大小以及io延迟：pidstat -d、iotop
注 ：iotop参数
-o 仅显示产生(产生过)IO的进程;
-b 批量模式,无法进行交互模式，多次的输出依次刷新;
-n 设置退出前执行的次数，可以结合-b方便日志输出;
-u 表示控制仅显示user用户的相关进程;
-a 显示累积流量，方便查看发生IO的总量
-t 在每行上输出当前的时间戳,会以batch模式输出
8.块设备io事件跟踪：blktrace需要跟blkparse配合使用，比如blktrace -d /dev/sda -o- |blkparse -i-
9.进程块设备io大小跟踪：biosnoop、biotop 都需要安装bcc
10.动态追踪：ftrace用于跟踪内核函数调用栈、bcc（要求内核版本>=4.1）和systemtap用于跟踪内核或应用程序的执行过程
四、网络性能工具
1.吞吐量（bps）：sar、nethogs、iftop分别可以查看网络接口、进程以及地址的网络吞吐量；/proc/net/dev常用于监控
2.吞吐量（pps）：sar -n DEV、/proc/net/dev
3.网络连接数：netstat、ss（Socket Statistics的缩写，速度更快）
注 ：
netstat参数
-a (all) 显示所有选项，默认不显示LISTEN相关。
-t (tcp) 仅显示tcp相关选项。
-u (udp) 仅显示udp相关选项。
-n 拒绝显示别名，能显示数字的全部转化成数字。
-l 仅列出有在 Listen (监听) 的服务状态。
-p 显示建立相关链接的程序名
-r 显示路由信息，路由表
-e 显示扩展信息，例如uid等
-s 按各个协议进行统计
-c 每隔一个固定时间，执行该netstat命令。
ss参数
-h, --help 帮助
-V, --version 显示版本号
-t, --tcp 显示 TCP 协议的 sockets
-u, --udp 显示 UDP 协议的 sockets
-x, --unix 显示 unix domain sockets，与 -f 选项相同
-n, --numeric 不解析服务的名称，如 "22" 端口不会显示成 "ssh"
-l, --listening 只显示处于监听状态的端口
-p, --processes 显示监听端口的进程(Ubuntu 上需要 sudo)
-a, --all 对 TCP 协议来说，既包含监听的端口，也包含建立的连接
-r, --resolve 把 IP 解释为域名，把端口号解释为协议名称
4.网络错误数：netstat -s、sar -n EDEV/EIP
5.网络延迟：ping（基于icmp协议）、hping3（基于tcp协议）
6.连接跟总数：conntrack（可用来查看所有连接跟踪的相关信息）、/proc/sys/net/netfilter/nf_conntrack_count（只是连接跟踪的数量）、/proc/sys/net/netfilter/nf_conntrack_max（限制了总的连接的数量）
7.路由：mtr和traceroute用来排查和定位网络链路中的路由问题、route（用于查询路由表）
注 ：mtr参数
例 mtr -n -i -a 0.0.0.0 1.1.1.1
-n no-dns(或简写为-n) :不对IP地址做域名解析
-s :用来指定ping数据包的大小
-i :使用这个参数来设置ICMP返回之间的要求默认是1秒
-a :来设置发送数据包的IP地址 这个对一个主机由多个IP地址是有用的
-r :已报告模式显示
-c : 每秒发送多少包，默认为10个。英文是(--report-cycles COUNT)
--report ：结果显示，并不动态显示
输出参数的解释：
Loss% -- 丢包率，单位是"%";
Snt -- sent包的数量
Last -- 最后一个包的延时
Avg -- 所有包的平均延时
Best -- 延时最小的包
Wrst -- 延时最大的包
StDev -- 标准偏差
8.DNS：dig、nslookup 都用来排查DNS解析的问题
**9.防火墙和NAT： iptables **
10.网卡选项：ethtool 用于查看和配置网络接口的功能问题
11.网络抓包：tcpdump、wireshark
12.动态追踪：ftrace（用于跟踪内核函数调用栈）、bcc和systemtab用于跟踪内核或应用程序的执行过程（bcc要求内核版本>=4.1）