第四章 更多的bash shell命令
4.1 监测程序
4.1.1 探查进程
Linux 上跑着的每个程序都是一个进程, 想看它们, 用 ps。ps 是历史包袱很重的命令, Unix 早年分家, 选项演化出两套写法, 带横线的 Unix 风格和不用横线的 BSD 风格, 两套都活到了今天, 所以你会在教程里同时见到 ps -ef 和 ps aux, 两个都对, 输出的列不太一样。
日常看资源占用, 推荐 ps aux, 输出长这样。
text
┌───────────────────────────────────────────────────────────────────────────┐
│ ps aux 的一行 │
├───────────────────────────────────────────────────────────────────────────┤
│ ps aux 的每一列都报一件事 │
│ │
│ USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND │
│ │
│ 属主 进程号 CPU 内存 虚拟存 物理存 终端 状态 启动 占用 命令 │
│ │
│ STAT 常见值: R 在跑 S 在睡 T 被暂停 Z 僵尸 │
│ 僵尸是已死但没人收尸的进程, 看见要留意它的父进程 │
└───────────────────────────────────────────────────────────────────────────┘
几百个进程全刷出来没法看, 实际用法都是配 grep 过滤, 这是第三章通配符之外更常用的点名方式。
text
$ ps aux | grep nginx
root 1024 0.0 0.4 78000 8200 ? S 08:12 0:00 nginx: master process
www-data 1025 0.3 1.2 125000 24000 ? S 08:12 0:12 nginx: worker process
simi 2130 0.0 0.1 12000 2200 pts/0 S+ 10:30 0:00 grep nginx
最后一行是 grep 自己, 它把自己也搜出来了, 无视即可。另一套 ps -ef 的独门价值是带 PPID 列, 父进程号, 追查僵尸进程是谁生的时候用它。
4.1.2 实时监测进程
ps 拍的是快照, top 放的是直播。敲 top 回车, 屏幕变成动态监控台, 几秒钟刷新一次, 按 q 收工。
text
┌──────────────────────────────────────────────────────────┐
│ top 的屏幕怎么看 │
├──────────────────────────────────────────────────────────┤
│ top 的屏幕分两段, 上面体检报告, 下面进程榜单 │
│ │
│ ┌────────────────────────────────────────────────────┐ │
│ │ 第一行 系统负载, 1 分钟 5 分钟 15 分钟三个数 │ │
│ │ 第二行 任务总览, 跑着几个睡着几个 │ │
│ │ 第三行 CPU, us 用户 sy 系统 id 空闲 │ │
│ │ 第四行 物理内存的总量与剩余 │ │
│ │ 第五行 交换空间的用量 │ │
│ │ 下面 进程列表, 默认按 CPU 排序, 几秒一刷 │ │
│ └────────────────────────────────────────────────────┘ │
│ │
│ 交互键: P 按CPU排 M 按内存排 k 杀进程 q 退出 │
└──────────────────────────────────────────────────────────┘
第一行的负载三个数要会看, 分别是一分钟, 五分钟, 十五分钟的平均负载, 粗略理解成排队等 CPU 的进程数。四核机器上这个数长期超过 4, 机器就在超负荷干活。服务变慢时第一个动作就是 top, 看是 CPU 被谁吃满, 还是内存见底开始用 swap, 心里有数再往下查。
4.1.3 结束进程
进程失控了, 用 kill 请它退场。kill 这个名字有误导性, 它干的事是发信号, 发什么信号由你选, 默认发 15 号 TERM, 意思是请自行了断, 给对方留保存数据的机会。
| 信号 | 编号 | 含义 |
|---|---|---|
| HUP | 1 | 挂起, 常用来让守护进程重读配置 |
| INT | 2 | 中断, 等于在终端里按 Ctrl+C |
| KILL | 9 | 强杀, 内核直接掐死, 不给反应机会 |
| TERM | 15 | 终止, 礼貌的默认请求 |
先礼后兵是规矩。
text
┌───────────────────────────────────────────────────────────┐
│ 结束进程的三步 │
├───────────────────────────────────────────────────────────┤
│ 杀进程讲究先礼后兵 │
│ │
│ 第一步 kill PID 发 15 号 TERM, 请它自己收拾退场 │
│ v 没动静, 等几秒再请一次 │
│ 第二步 kill PID 又请了几次还赖着 │
│ v 没办法了 │
│ 第三步 kill -9 PID 发 9 号 KILL, 内核直接掐死 │
│ │
│ 9 号是核武器, 进程连保存数据的机会都没有 │
│ 名字对得上的一群, 用 killall 按名字一锅端 │
└───────────────────────────────────────────────────────────┘
kill -9 是没办法的办法, 进程来不及写盘, 来不及关连接, 可能留下一堆烂摊子。先 15 后 9, 中间给几秒钟, 这是老运维的肌肉记忆。还有一招常用, 改完配置不想重启服务, kill -HUP 加进程号, 多数守护进程收到这个信号会原地重读配置, nginx 和 sshd 都吃这一套。
4.2 监测磁盘空间
4.2.1 挂载存储媒体
第三章说过, Linux 只有一棵目录树, 外来的存储设备想被访问, 得挂到树上, 这个动作由 mount 完成。
text
┌────────────────────────────────────────────────────┐
│ mount 干了什么 │
├────────────────────────────────────────────────────┤
│ 挂载就是把设备接到目录树的某个空目录上 │
│ │
│ /dev/sdb1(U盘) --mount--> /media/usb(空目录) │
│ │
│ 挂上以后, 进 /media/usb 看到的就是 U 盘内容 │
│ 拔之前 umount, 有文件被占用会报设备忙 │
└────────────────────────────────────────────────────┘
mount 不带参数时, 把系统当前所有的挂载列出来。手动挂设备要指明文件系统类型, 设备文件和挂载点。
text
# mount -t vfat /dev/sdb1 /media/usb
# mount -t iso9660 -o ro /dev/sr0 /media/cdrom
# umount /media/usb
-t 后面是类型, U 盘常见 vfat 和 exFAT, 光盘是 iso9660。-o 挂选项, ro 是只读。卸载用 umount, 注意拼写, 只有一个 n。卸载时报设备忙, 说明有进程还占着里头的文件, 用 lsof 加挂载点能查出是谁, 关掉再卸。现在桌面发行版插 U 盘都自动挂, 手动这门手艺主要留给服务器和 Live 环境。
4.2.2 使用df命令
df, disk free, 报告每个挂载点的空间账。裸 df 的数字单位是 KB, 一长串零看得眼花, 人人都加 -h, 人类可读, 自动换算成 M 和 G。
text
┌──────────────────────────────────────────────────────┐
│ df -h 的一屏 │
├──────────────────────────────────────────────────────┤
│ df -h 每一行报一个挂载点的肚量 │
│ │
│ Filesystem Size Used Avail Use% Mounted on │
│ /dev/sda2 100G 85G 15G 85% / │
│ tmpfs 16G 0 16G 0% /dev/shm │
│ /dev/sdb1 7.5G 1.2G 6.3G 16% /media/usb │
│ │
│ Use% 过 90% 就该警觉, 写满之前动手 │
└──────────────────────────────────────────────────────┘
里面 tmpfs 那几行是内存虚拟出来的盘, 不占物理硬盘, 看见它 0% 别担心。真正要盯的是物理盘那几行的 Use%, 过了 90% 就该安排清理, 写到 100% 会出现各种怪事, 服务挂掉, 登录异常, 日志写不进, 排查起来还绕弯。
还有个进阶坑提前说, df 报满, du 却找不到大文件, 多半是文件被删了但进程还开着它, 空间没释放, 重启那个进程或者重启机器才还回来。遇到一次记一辈子。
4.2.3 使用du命令
df 告诉你盘满了, du 告诉你被谁占的。du, disk usage, 统计目录占了多大地方。它默认把每个子目录全报一遍, 输出几百行, 所以实际用都带两个选项, -s 只报汇总, -h 人类可读。
开篇那晚师傅的手法, 就是拿 du 一层一层往下钻。
text
┌────────────────────────────────────────────────┐
│ du 的下钻排查 │
├────────────────────────────────────────────────┤
│ 找大目录的手法, 一层一层往下钻 │
│ │
│ du -sh /var/* 第一层, 谁最大 │
│ v /var/log 明显超标 │
│ du -sh /var/log/* 再下一层 │
│ v app.log 12G, 元凶现形 │
│ │
│ -s 只报汇总 -h 人类可读, 两个几乎形影不离 │
└────────────────────────────────────────────────┘
从下钻到定位, 三条命令三十秒。嫌一层层敲麻烦, 也有组合玩法, du -h 加一层深度限制再排个序, 大头直接浮到最上面。这个手法一个月总能用上一两回, 磁盘空间这东西, 永远在被什么悄悄吃掉。
4.3 处理数据文件
4.3.1 排序数据
sort 给文本按行排序, 默认按字符顺序, 这里埋着一个经典坑, 数字按字符排, 10 会排在 2 前面, 因为 1 比 2 小。
text
$ cat score.txt
100
9
25
$ sort score.txt
100
25
9
$ sort -n score.txt
9
25
100
加 -n 才按数字大小排, 跟数字打交道时它是标配。逆序用 -r, 从大到小。面对 CSV 这类分列的文件, -t 指定分隔符, -k 指定按第几列排, 比如 sort -t: -k3 -n /etc/passwd, 按 UID 把全系统用户排一队, 排查账号时顺手得很。
4.3.2 搜索数据
grep 是命令行里的搜索犬, 给它一个模式, 它把匹配的行叼回来。
text
$ grep error /var/log/app.log
$ grep -n error /var/log/app.log
$ grep -v error /var/log/app.log
$ grep -ri error /var/log/
-n 带行号, 改配置找位置必备。-v 反着来, 把不含关键字的行留下。-i 不分大小写。-r 递归进目录, 一整个目录树里翻。它真正的威力在管道里, 前面任何命令的输出都能交给它过滤, 这一章开头的 ps aux | grep nginx 就是样板, 排查日志时 tail -f 也能接 grep, 实时日志只看你关心的关键字。
grep 的模式不只是固定文字, 它支持正则表达式, 能写出按格式匹配的搜索, 那是后面正则章节的正菜, 这里先把固定字符串的用法练熟。
4.3.3 压缩数据
数据要归档或传输, 先压缩。Linux 下三家压缩工具常见。
| 工具 | 扩展名 | 解压 | 特点 |
|---|---|---|---|
| gzip | .gz | gunzip | 速度快, 压缩率中等, 最普及 |
| bzip2 | .bz2 | bunzip2 | 压得更小, 速度慢一截 |
| xz | .xz | unxz | 压缩率最高, 最费时间 |
text
$ gzip app.log
$ gunzip app.log.gz
$ zcat app.log.gz
注意两点。一, 压缩默认直接替换原文件, 压完 app.log 变成 app.log.gz, 原文件没了。二, 想看压缩文件内容又不想解开, 用 zcat, bzcat 这类猫系亲戚, 内容泼到屏幕, 文件原封不动。gzip 还能加 -1 到 -9 选压缩级别, 9 最狠也最慢, 默认中间档。
4.3.4 归档数据
压缩工具一次只对付一个文件, 想把整个目录连锅端, 得先打包再压缩, 打包的活儿归 tar。tar 是磁带归档时代留下的元老, tape archive, 如今磁带没人用了, tar 活得好好的。
text
┌───────────────────────────────────────────────────────┐
│ tar 的四个字母 │
├───────────────────────────────────────────────────────┤
│ tar 的选项看着乱, 记住四个字母就够用 │
│ │
│ tar -czvf backup.tar.gz mydir/ c 创建 z 走gzip │
│ tar -xzvf backup.tar.gz x 解开 │
│ tar -tzvf backup.tar.gz t 只偷看, 不拆包 │
│ │
│ v 是啰嗦模式, 一路报文件名, f 后面紧跟包名 │
└───────────────────────────────────────────────────────┘
打包和压缩是两步, tar 自己只打包, 加 z 顺手过一遍 gzip, 加 j 走 bzip2, 加 J 走 xz。所以 .tar.gz 和 .tgz 是一回事, 都是 tar 包过了 gzip。
text
$ tar -czvf etc-backup.tar.gz /etc/
$ tar -tzvf etc-backup.tar.gz | head -5
$ tar -xzvf etc-backup.tar.gz -C /tmp/restore/
解开时加 -C 指定落点, 免得在当前目录炸开一堆文件。备份配置, 迁移目录, 给同事传一堆文件, tar 一把全包, 是 Linux 世界通行了几十年的集装箱。
4.4 小结
这一章的命令从管文件升级成管系统。进程这边, ps 拍快照, top 放直播, kill 发信号, 先 15 后 9 讲武德。磁盘这边, mount 把设备接上目录树, df 看每个挂载点的账, du 一层层钻出元凶, df 和 du 对不上账时想想被删了还被占着的文件。数据这边, sort 记得 -n, grep 是管道里的万金油, gzip bzip2 xz 按需选用, tar 负责打包, czvf 创建, xzvf 解开, tzvf 偷看。