一、CPU性能分析工具
|------------|-----------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 性能指标 | 工具 | 说明 | 用法举例： |
| 平均负载 | Top Uptime | Uptime：最简单； Top：提供了更全的指标（平均负载、运行队列、整体的CPU使用率以及每个进程状态和CPU使用率） | Top： M：根据驻留内存大小进行排序 P：根据CPU使用百分比大小进行排序 H：显示线程 c：显示正在运行的进程的绝对路径 1：显示每个cpu性能指标 |
| 系统整体CPU使用率 | vmstat mpstat sar top | Top； Vmstat： 系统整体的CPU使用率、上下文切换次数、中断次数，还包括处于运行和不可中断状态的进程数； Mpstat： 每个CPU的使用率和软硬中断CPU使用率； Sar： 系统整体的CPU使用率，包括可配置的历史数据； top、 vmstat、 mpstat 只可以动态杳看，而 sar还可以记录历史数据。 | # vmstat -w 1 刷新间隔1秒，-w 扩大显示长度。 # mpstat -P ALL 1 显示所有CPU性能指标，刷新间隔1秒 # sar -P ALL 1 显示所有CPU性能指标，刷新间隔1秒 |
| 进程CPU使用率 | Top Pidstat Ps pstree | Pidstat：进程和线程的CPU使用率、中断上下文切换次数； Top和ps可以按CPU使用率给进程排序，而pidstat只显示实际用了CPU的进程。 Pstree：显示父子进程关系 | # ps -aux --sort -pmem 根据 内存使用 来升序排序 #ps -aux --sort -pcpu 根据 CPU使用 来升序排序 # pidstat 1 显示各活动进程的cpu使用统计，刷新间隔1秒 # pidstat -p 4324 1 显示指定进程的CPU使用统计，刷新间隔1秒 #pstree -g 显示带PID父子进程关系 |
| 系统上下文切换 | vmstat | 除了上下文切换次数，还提供运行状态和不可中断状态进程的数量。 | # vmstat -w 1 |
| 进程上下文切换 | pidstat | 加上 -w选项，线程加上 -t 选项 | # pidstat -w 1 -w 显示进程上下文切换次数，重点关注自愿上下文切换和非自愿上下文切换数。 # pidstat -w -p 778 1 显示指定进程778的上下文切换次数，刷新间隔1秒 # pidstat -wt 1 -t 显示线程上下文切换次数。刷新间隔1秒 |
| 软中断 | Top mpstat | Top、mpsta提供软硬中断CPU使用率； | #mpstat -P ALL 1 |
| 硬中断 | vmstat | vmstat提供每秒硬中断次数， | #vmstat -w 1 |
| 网络 | dstat sar tcpdump | dstat和sar提供总的网络接收和发送情况，而tcpdump则是动态抓取正在进行的网络通讯 | # dstat 1 显示总的网络接受和发送情况，刷新间隔1秒 # sar -n DEV 1 显示详细网络性能，刷新间隔1秒 #tcpdump -i ens33 -vnn port 22 抓取指定接口和端口的数据包 |
| I/O | dstat sar | dstat和sar提供了I/O的整体情况 | # dstat 1 显示全部I/O # sar -d 1 显示全部磁盘IO情况，刷新间隔1秒 |
| 事件剖析 | Perf Execsnoop | Perf：可以用来分析CPU的缓存以及内核调用链，CPU调度等 Execsnoop：用来监控短时进程追踪。 用法： https://github.com/brendangregg/perf-tools/blob/master/execsnoop 脚本下载+x权限。 | # perf top 显示占用CPU时钟最多的的函数或者指令，可以用来查找热点函数。 perf top -g -p 10277 -g 开启调用关系分析，-p指定进程号 # perf record -g -p 10277 保存性能事件 # perf report 查看性能事件 #./ Execsnoop 追踪短时进程（瞬时进程），top或ps不容易发现。 |
二、内存性能分析
|------------------|-------------------------|--------------------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------|
| 性能指标 | 工具 | 说明 | 用法举例： |
| 系统已用、可用、剩余内存 | free vmstat sar | Free：系统已用、可用、剩余内存以及缓存和缓冲区用量。 Vmstat：系统剩余内存、缓存、缓冲区、换入、换出 Sar：系统内存换页情况、内存使用率、缓存和缓冲区用量以及swap使用情况。 | # vmstat -w 1 # free -mt # sar -r 1 显示内存利用率，刷新间隔1秒 |
| 进程虚拟内存、常驻内存、共享内存 | Ps Top | Top、ps：进程虚拟、常驻、共享内存以及缺页异常 | Top： M：根据驻留内存大小进行排序 # ps -aux --sort -pmem 根据 内存使用 来升序排序 |
| 进程内存分布 | Pmap | Pmap：进程地址空间和内存状态 | # pmap -x 2028 -x 显示扩展格式，-d 显示设备格式 |
| 进程缺页异常 | Pidstat | Pidstat：显示各活动进程的内存使用统计，缺页异常次数；注意加上-r选项。 | # pidstat -r 1 显示各活动进程的内存使用统计，缺页异常次数，刷新间隔1秒 # pidstat -r -p 3334 1 -p 显示指定进程内存使用情况，刷新间隔1秒 |
| 系统换页情况 | Sar | Sar：系统内存换页情况、内存使用率、缓存和缓冲区用量以及swap使用情况；注意加上-B选项 | # sar -r - B -S 1 -r显示内存使用率、-B显示内存换页、-S显示swap 刷新间隔1秒 |
| 缓存/缓存区用量 | Free Vmstat Sar Slabtop | Cachestat：系统缓存和缓冲区的命中率； Slabtop：系统slap缓存使用情况 | # free -mt # vmstat -w 1 # sar -r -1 # Slabtop 实时显示内核slap缓存区的详细信息 |
| 缓存/缓存区命中率 | Cachetop Cachestat | Cachetop：进程缓存和缓冲区的命中率 Cachestat：系统缓存和缓冲区命中率 安装：bcc-tools 系统内核：4.1以上 | # cachestat 1 # cachetop |
| Swap换入换出 | Vmstat Sar | | # vmstat -w 1 # sar -W 1 每秒从交换分区到系统的交换页面换入换出数量 |
| 内存泄露检查 | Memleak Valgrind | Valgrind：进程内存错误检测器，用来检测内存初始化、泄露、越界访问等各种内存错误, Valgrind不能指定PID进行分析，一般用在发现内存泄漏线下分析； Memleak：内存泄漏检查。 | memleak -p $(pidof app) -a -p 指定进程PID，-a 显示每个内存分配请求的大小以及地址； #Valgrind --tool=memcheck --leak-check=full 执行程序名 |
三、文件系统和磁盘I/O性能分析
|----------------------------------------|----------------------|------------------------------------------------------------------------------------------------------|----------------------------------------------------------------------------------------------------------------------------------------------------------|
| 性能指标 | 工具 | 说明 | 用法举例： |
| 文件系统空间容量、使用量以及剩余空间 | df | df：磁盘空间和索引节点使用量和剩余量 | #df -Th |
| 索引节点容量、使用量以及剩余量 | df | df: 加 -- i 选项 | #df -ih |
| 页缓存和可回收Slab缓存 | Sar Vmstat | Sar : 加 -- r 选项 | #sar -r 1 #vmstat -w 1 |
| 缓冲区 | Sar Vmstat | Sar : 加 -- r 选项 | #sar -r 1 #vmstat -w 1 |
| 目录项、索引节点以及文件系统缓存 | Slaptop | Slaptop：目录项、索引节点以及文件系统缓存 | # slaptop |
| 磁盘I/O使用率、IOPS、吞吐量、响应时间、I/O平均大小以及等待队列长度 | iostat sar Dstat | Iostat：磁盘I/O使用率、IOPS、吞吐量、响应时间、I/O平均大小以及等待队列长度； Sar：磁盘I/O使用率、IOPS、吞吐量以及响应时间； Dstat：磁盘I/O使用率、IOPS、吞吐量； | # iostat -d -x 1 -d --x 表示显示所有磁盘I/O性能指标 # sar -d 1 -p 显示所有磁盘I/O性能指标，刷新间隔1秒 #dstat --top-mem --top-io --top-cpu 找出占用资源最高的进程和用户 |
| 进程I/O大小以及I/O延迟 | Pidstat Iotop | Pidstat：使用 --d 选项，显示进程I/O大小以及I/O延迟； Iotop：按I/O大小对进程排序； | # pidstat -d 1 显示活动进程I/0性能指标，刷新间隔1秒 # iotop 根据I/O大小对进程进程排序 |
| 块设备I/O事件追踪 | Blktrace | blktrace：跟踪块设备I/O事件 | # blktrace -d /dev/sda -o - | blkparse -i -- 输出到终端用"-"表示，可是都是一堆二进制东西，没法看，所以需要实时blkparse来解析； Blkparse 的"-i"后加文件名，blktrace输出为"-"代表终端，blkparse也用"-"来代表终端解析 |
| 进程I/O系统调用追踪 | Strace Perf | strace：通过系统调用跟踪进程的I/O perf trace：跟踪内核中的I/O事件。 Strace 只可以跟踪单个进程，而perf trace可以跟踪所有进程的系统调用。 | # strace -p 32432 -p 指定跟踪PID号；配合lsof -p 32432 分析； # strace -f -T -tt -p 32432 -f 表示跟踪子进程和线程，-T 表示显示系统调用的时长，-tt 显示跟踪事件。 |
| 进程块设备I/O大小跟踪 | Biosnoop biotop | 需要安装bcc工具包，内核大于4.1 | |
| 动态追踪 | Ftrace Bcc Systemtap | Ftrace 用于跟踪内核函数调用栈，而bcc和systemtap则用于跟踪内核或应用程序的执行过程 注意：内核大于4.1，需要从源码安装 | |
四、网络性能分析
|----------|----------------------|-------------------------------------------------------------------------------------------------------------------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 性能指标 | 工具 | 说明 | 用法举例： |
| 吞吐量(BPS) | Sar Iftop nethogs | Sar：查看网络接口的网络收发情况 Iftop：查看IP的网络收发情况 Nethogs：查看进程的网络收发情况 | #sar -n DEV 1 显示所有网卡收发情况，刷新间隔1秒 # iftop -i eth1 监控eth1网卡收发情况 # nethogs -d 1 eth1 eth2 查看每个进程使用的带宽,刷新间隔1秒 |
| 吞吐量(PPS) | Sar | | #sar -n DEV 1 |
| 网络连接数 | Netstat Ss | Netstat：显示与IP、TCP、UDP和ICMP协议相关的统计数据 Ss：获取 socket 统计信息，它显示的内容和 netstat 类似。但 ss 的优势在于它能够显示更多更详细的有关 TCP 和连接状态的信息，而且比 netstat 更快； | #ss --ltnpu 显示所有tcp/udp协议链接信息 #netstat -ltnpu 显示所有tcp/udp协议链接信息 |
| 网络错误数 | Netstat Sar | | #netstat -i 显示数据链路层信息统计 #netstat --i 显示网络层和传输层信息统计 # sar -n EDEV 1 显示数据链路层网络信息统计 # sar -n EIP 1 显示网络层信息统计 |
| 延迟 | ping hping3 | Ping：基于icmp协议 hping3：基于tcp协议测试网络连通性。 | ping -c3 114.114.114.114 hping3 --c 3 -S -p 8080 192.168.1.11 -c 表示发送3次请求、-S表示设置TCP SYN 、-p 表示端口号为80 |
| 连接跟踪数 | conntrack | Conntrack：查看和管理连接跟踪状况 | # Conntrack -L -o extended -L 表示列表 -o 表示已扩展格式显示 查看链接追踪表内容 |
| 路由 | mtr route traceroute | 查看路由并测试链路信息 | # mtr 134.64.57.129 详细记录主机间流量状况。 #Route --n 显示本机路由表信息 #traceroute --tcp -p 80 -n taobao.com --tcp 使用tcp协议，-p 表示端口，-n 不对结果IP进行反向域名解析 追踪到目标主机的路由信息。 #traceroute -p 8080 -n taobao.com 使用UDP协议追踪。 |
| DNS | dig nslookup | dig、nslookup：排查DNS解析问题； dig可动态追踪解析过程 | # nslookup www.baidu.com 查询主机DNS记录信息 #dig +trace +nodnssec www.baidu.com +trace 表示开启动态追踪，+nodnssec 表示禁止DNS安全扩展 动态追踪DNS解析过程 |
| 防火墙和NAT | iptables | Iptables：配置和管理防火墙及NAT规则 | |
| 网卡功能 | ethtool | ethtool：查看和配置网络接口 | #ethtool -S eth0 查看网卡收发包统计 # ethtool -l eth0、 查看网卡是否支持多队列 |
| 抓包 | Tcpdump Wireshark | Tcpdump：网络抓包工具 Wireshark：网络抓包和图形界面分析工具 | # tcpdump -nn tcp port 80 -w app.pcap 抓取80端口数据包保存为文件，用Wireshark分析； |
| 内核协议栈跟踪 | bcc systemtap perf | Perf：剖析内核协议栈的性能 Systemtap、bcc：动态追踪内核协议栈的行为。 | # perf record -g -p 13788 |
五、推荐安装工具
|------------|------------------------------------------------|-------------|
| 工具 | 软件包 | repo镜像源 |
| mpstat | sysstat-9.0.4-22.el6.x86_64 | Base |
| Sar | sysstat-9.0.4-22.el6.x86_64 | Base |
| Pidstat | sysstat-9.0.4-22.el6.x86_64 | base |
| pstree | psmisc-22.6-15.el6_0.1.x86_64 | Base |
| dstat | dstat-0.7.0-1.el6.noarch | Base |
| tcpdump | tcpdump-4.0.0-3.20090921gitdf3cb4.2.el6.x86_64 | Base |
| perf | 2.6以上内核自带工具 | base |
| vmstat | procps-3.2.8-25.el6.x86_64 | Base |
| pmap | procps-3.2.8-25.el6.x86_64 | base |
| Slabtop | procps-3.2.8-25.el6.x86_64 | base |
| Cachetop | bcc-tools需要内核版本为4.1或者更新的版本 | epel |
| Cachestat | bcc-tools需要内核版本为4.1或者更新的版本 | epel |
| Memleak | bcc-tools需要内核版本为4.1或者更新的版本 | epel |
| blktrace | blktrace-1.0.1-6.el6.x86_64 | base |
| strace | strace-4.5.19-1.17.el6.x86_64 | base |
| iftop | 可源码安装 | epel |
| nethogs | 可源码安装 | epel |
| netstat | net-tools-1.60-110.el6_2.x86_64 | base |
| ss | iproute-2.6.32-31.el6.x86_64 | base |
| conntrack | 源码安装conntrack-tools 内核> = 2.6.18 | epel |
| mtr | mtr-0.75-5.el6.x86_64 | base |
| route | net-tools-1.60-110.el6_2.x86_64 | base |
| traceroute | traceroute-2.0.14-2.el6.x86_64 | base |
| dig | bind-utils-9.8.2-0.17.rc1.el6_4.6.x86_64 | base |
| nslookup | bind-utils-9.8.2-0.17.rc1.el6_4.6.x86_64 | base |
| ethtool | ethtool-3.5-1.el6.x86_64 | base |