了解行处理工具：grep 、cut 、sort、uniq 、tee 、diff 、paste 、tr

1、grep：用于查找文件里符合条件的字符串或正则表达式。

grep 指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设 grep 指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为 -，则 grep 指令会从标准输入设备读取数据。

-i：忽略大小写进行匹配。

-v：反向查找，只打印不匹配的行。

-n：显示匹配行的行号。

-r：递归查找子目录中的文件。

-l：只打印匹配的文件名。

-c：只打印匹配的行数。

-A : 打印搜索结果后几行的数据

-B : 打印搜索结果前几行的数据

-C : 打印搜索结果前后几行的数据

bash 复制代码

 grep --color=auto passwd  #高亮显示过滤内容
 alias grep='grep --color=auto'   #别名 
 alias grep='grep --color=auto' >> /etc/bashrc  #写入配置文件，使其一直生效
 source /etc/bashrc  #读取配置文件
 grep 'a*' passwd  
 vim passwd 
 cat passwd | grep  'bash$' #寻找以bash结尾的行
 cat passwd | grep -ni 'bash$' #寻找不区分大小写以bash结尾的行，同时打印行号
 cat passwd | grep -niv 'bash$' #反选不区分大小写以bash结尾的行，同时打印行号
 grep -nB 2 'ftp' passwd   #打印以ftp过滤的行及其前两行，同时打印行号
 grep -nB 2 '^ftp' passwd  #打印以ftp开头过滤的行及其前两行,同时打印行号
 grep -nA 2 '^ftp' passwd  #打印以ftp过滤的行及其前两行，同时打印行号
 grep -nB5 2 '^ftp' passwd  #打印以ftp过滤的行及其前两行，同时打印行号
 grep -A 2 '^ftp' passwd   #打印以ftp过滤的行及其后两行
 grep -C 2 '^ftp' passwd   ##打印以ftp过滤的行及其前后两行
 grep -o  '^ftp' passwd   #只打印ftp关键字

2、cut:类似于awk，可以获取某列的数值，或可以获取每行从某个字符到某个字符的全部字符。

-c ：以字符为单位进行分割。

-d ：自定义分隔符，默认为制表符。

-f ：与-d一起使用，指定显示哪个区域。

bash 复制代码

[root@ecs-shell ~]#  cat passwd   #源文件内容
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/ROOT:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

[root@ecs-shell ~]#  cat passwd | cut -d":" -f1   #获取第一列全部的username
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
postfix
sshd
chrony
tcpdump
tss


[root@ecs-shell ~]#  cat passwd | awk -F":" '{print $1}'  #awk也可以做到
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
postfix
sshd
chrony
tcpdump
tss

[root@ecs-shell ~]#  cat passwd | cut -d":" -f1,7   #打印第一列和第七列
root:/bin/bash
bin:/sbin/nologin
daemon:/sbin/nologin
adm:/sbin/nologin
lp:/sbin/nologin
sync:/bin/sync
shutdown:/sbin/shutdown
halt:/sbin/halt
mail:/sbin/nologin
operator:/sbin/nologin
games:/sbin/nologin
ftp:/sbin/nologin
nobody:/sbin/nologin
systemd-network:/sbin/nologin
dbus:/sbin/nologin
polkitd:/sbin/nologin
postfix:/sbin/nologin
sshd:/sbin/nologin
chrony:/sbin/nologin
tcpdump:/sbin/nologin
tss:/sbin/nologin

[root@ecs-shell ~]# cat passwd | awk -F":" '{print $1,$NF}' #awk打印第一列和第七列
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
operator /sbin/nologin
games /sbin/nologin
ftp /sbin/nologin
nobody /sbin/nologin
systemd-network /sbin/nologin
dbus /sbin/nologin
polkitd /sbin/nologin
postfix /sbin/nologin
sshd /sbin/nologin
chrony /sbin/nologin
tcpdump /sbin/nologin
tss /sbin/nologin

[root@ecs-shell ~]#  cat passwd | cut -c 1-5  #获取每行的第1-5个字符
root:
bin:x
daemo
adm:x
lp:x:
sync:
shutd
halt:
mail:
opera
games
ftp:x
nobod
syste
dbus:
polki
postf
sshd:
chron
tcpdu
tss:x

[root@ecs-shell ~]#  cat passwd | cut -c 10-  #获取每行的第10个字符到每行结束
0:root:/root:/bin/bash
:bin:/bin:/sbin/nologin
2:2:daemon:/sbin:/sbin/nologin
:adm:/var/adm:/sbin/nologin
lp:/var/spool/lpd:/sbin/nologin
0:sync:/sbin:/bin/sync
x:6:0:shutdown:/sbin:/sbin/shutdown
0:halt:/sbin:/sbin/halt
12:mail:/var/spool/mail:/sbin/nologin
x:11:0:operator:/ROOT:/sbin/nologin
2:100:games:/usr/games:/sbin/nologin
50:FTP User:/var/ftp:/sbin/nologin
99:99:Nobody:/:/sbin/nologin
etwork:x:192:192:systemd Network Management:/:/sbin/nologin
:81:System message bus:/:/sbin/nologin
:999:998:User for polkitd:/:/sbin/nologin
:89:89::/var/spool/postfix:/sbin/nologin
:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
998:996::/var/lib/chrony:/sbin/nologin
:72:72::/:/sbin/nologin
59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

#相关命令：
 cat passwd | awk -F":" '{print $1}'
 cat passwd | cut -d":" -f1,7
 cat passwd | awk -F":" '{print $1,$NF}'
 cat passwd | cut -c 1-5
 cat passwd | cut -c 10-

3、sort: sort 命令用于将文本文件内容加以排序。

b 忽略每行前面开始出的空格字符。

-n 依照数值的大小排序。

-u 意味着是唯一的(unique)，输出的结果是去完重了的。

-o<输出文件> 将排序后的结果存入指定的文件。

-r 以相反的顺序来排序。

bash 复制代码

[root@ecs-shell ~]# cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/ROOT:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

[root@ecs-shell ~]# cat passwd | sort -n -t":" -k3  #查看以":"分割的，第三列从小向大排序的内容
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/ROOT:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
polkitd:x:999:998:User for polkitd:/:/sbin/nologin

[root@ecs-shell ~]# cat passwd | sort -nr -t":" -k3  #查看以":"分割的，第三列从大向小排序的内容
polkitd:x:999:998:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
operator:x:11:0:operator:/ROOT:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
sync:x:5:0:sync:/sbin:/bin/sync
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
root:x:0:0:root:/root:/bin/bash


[root@ecs-shell ~]# cat 3.txt 
aaa
111
222
111
222
222
sda
dsdsa
vvv

[root@ecs-shell ~]# cat 3.txt | sort -u  #去掉重复出现的行

111
222
aaa
dsdsa
sda
vvv

#相关命令
 cat passwd 
 cat passwd | sort -n -t":" -k3 
 cat passwd | sort -nr -t":" -k3

4、uniq：uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。

-c或--count 在每列旁边显示该行重复出现的次数。

-d或--repeated 仅显示重复出现的行列。

-u或--unique 仅显示出一次的行列。