一、正则表达式命令
正则表达式：匹配的是文本内容，linux的文本三剑客都是针对文本内容。
grep 过滤文本内容
sed 针对文本内容进行增删改查
awk 按行取列
文本三剑客----都是按照行进行匹配。
1.1、grep筛选：
grep的作用就是使用正则表达式来匹配文本内容。
选项：
-m 数字 匹配几次之后停止
[root@test1 opt]# grep -m 1 root /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@test1 opt]# grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
-v 取反
grep -v root /etc/passwd ##除了root，筛选所有
-n 显示匹配的内容及行号
[root@test1 opt]# grep -n root /etc/passwd
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin
-c 只统计匹配的行数
[root@test1 opt]# grep -c root /etc/passwd
2
-o 仅显示匹配的结果
[root@test1 opt]# grep -o root /etc/passwd
root
root
root
root
-q 静默模式。不输出任何信息。
[root@test1 opt]# grep -q root /etc/passwd > /opt/123.txt
[root@test1 opt]# cat /opt/123.txt
[root@test1 opt]# grep -m 1 root /etc/passwd > /opt/123.txt
[root@test1 opt]# cat /opt/123.txt
root:x:0:0:root:/root:/bin/bash
-A after 数字，后几行
grep -A 3 root /etc/passwd
-B before 数字 ，前几行
grep -B 3 root /etc/passwd
-C 数字，前后各几行
grep -C 3 root /etc/passwd
-e 或者
grep -e root -e xy102 /etc/passwd
-E 匹配扩展正则表达式
-f 匹配两个文件相同的内容，以第一个文件为准
[root@test1 opt]# vim kl1.txt
abc
acv
abf123
234
456
aaa
bbb
ccc
abc
acv
abf123
234
456
aaa
bbb
ccc
abc
acv
abf
[root@test1 opt]# vim kl1.txt
123
345
qqq
aaa
abf
avg
afh
[root@test1 opt]# grep -f kl.txt kl1.txt
123
aaa
abf
-r 递归目录 目录下的文件内容，软连接不包含在内。
[root@test1 opt]# grep -r 123 /opt/
/opt/test41.sh: echo 123 | passwd --stdin $user
/opt/test41.sh: echo 123 | passwd --stdin $user
匹配到二进制文件 /opt/.123.swp
-R 递归目录 目录下的文件内容，软连接包含在内。
[root@test1 opt]# grep -R abf /opt/
/opt/nginx-1.22.0/src/core/ngx_crc32.c: 0xedb88320, 0x9abfb3b6, 0x03b6e20c, 0x74b1d29a,
/opt/999.txt:abf123
1.2、sort排序：
sort
以行为单位，对文件的内容进行排序
sort 选项 参数
-f：忽略大小写，相同字母默认大写排在前面
-b：忽略每行之前的空格
-n：按照数字大小进行排序，此时不是按照单个字符进行比较，而是行首所有连续的数字都能被识别，按照识别到的数字的大小进行排序。且此时字母排序优先级高于数字
-r：反向排序
-u：去重，相同内容仅显示一次
-o：把排序后的结果转存到指定文件
-k：指定字段（字符）进行排序
-t：指定字段的分隔符
[root@test1 opt]# sort 123.txt
111
112
123
222
333
555
aaa
aaa
aaa
bbb
bbb
cc
ddd
DDD
EEE
nnn
cat file | sort 选项
-f 忽略大小写，默认会把大写字母排在前面
[root@test1 opt]# sort -f 123.txt
111
112
123
222
333
555
aaa
aaa
aaa
bbb
bbb
cc
DDD
ddd
EEE
nnn
-b 忽略每行之前的空格，空格也显示（不是把空格删除，只是按照数字和字母的顺序排列）
[root@test1 opt]# sort -b 123.txt
123
345
345
345
567
987
aaa
bbb
bbb
BD
bfvf
SD
sdfd
sds
-n 按照数字进行排序
[root@test1 opt]# sort -n 123.txt
aaa
bbb
bbb
BD
bfvf
SD
sdfd
sds
123
345
345
345
567
987
-r 反向排序
[root@test1 opt]# sort -r 123.txt
sds
sdfd
SD
bfvf
BD
bbb
bbb
aaa
987
567
345
345
345
123
-u 相同的数据只显示一行
[root@test1 opt]# sort -u 123.txt
123
345
345
567
987
aaa
bbb
BD
bfvf
SD
sdfd
sds
-o 把排序后结果转存到指定的文件
[root@test1 opt]# sort -u 123.txt
123
345
345
567
987
aaa
bbb
BD
bfvf
SD
sdfd
sds
[root@test1 opt]# cat 123.txt | sort -rno 234.txt
[root@test1 opt]# cat 234.txt
987
567
345
345
345
123
sds
sdfd
SD
bfvf
BD
bbb
bbb
aaa
1.3、uniq 去重
uniq 去除连续重复的行，只显示一行
-c 统计连续行的次数，合并连续重复的行
[root@test1 opt]# uniq -c 123.txt
1 345
1 567
1 987
1 123
2 345
1 bbb
1 bfvf
2
1 sdfd
1 SD
1 BD
2
1
1 sds
2 aaa
1 bbb
-u 显示仅出现一次的行（包括不适合连续出现的重复行）
[root@test1 opt]# uniq -u 123.txt
345
567
987
123
bbb
bfvf
sdfd
SD
BD
sds
bbb
-d 仅显示连续重复的行（不包括非连续出现的内容）
[root@test1 opt]# uniq -d 123.txt ##显示重复的行
345
aaa
1.4、tr压缩替换
tr：用来对标准输出的字符进行替换，压缩和删除。
-c 保留字符集1的字符，其他的字符用字符集2替换
echo 字符集 |tr -c "字符集1" "字符集2"
[root@test1 ~]# echo abc
abc
[root@test1 ~]# echo abc | tr -c "ab" "d"
abdd
-d 删除字符集中的一部分
echo abc |tr -d "a"
[root@test1 ~]# echo abc | tr -d "a"
bc
-s 把字符集1的部分替换成字符集2的部分，连续重复出现的字符压缩成一个字符
压缩：
[root@test1 ~]# echo aaabaaca | tr -s "a"
abaca
替换压缩：
[root@test1 ~]# echo aaabaaca | tr -s 'a' 'w'
wbwcw
1.5、cut
cut快速裁剪 awk都可以按行取列
对字段进行截取和裁剪。
-d 指定分隔符（默认的分隔符是tab键）
[root@test1 opt]# cut -d ':' -f 1-3 /etc/passwd
root:x:0
bin:x:1
daemon:x:2
-f 对字段进行截取，指定输出段的内容
[root@test1 opt]# cut -d ':' -f 1-3 /etc/passwd
root:0
bin:1
daemon:2
-b 以字节为单位进行截取
-c 以字符为单位进行截取
--complement 输出的时候排除指定的字段
[root@test1 opt]# head -n 1 /etc/passwd | cut -d ':' --complement -f 1-3
0:root:/root:/bin/bash
[root@test1 opt]# head -n 1 /etc/passwd | cut -d ':' --complement -f 1
x:0:0:root:/root:/bin/bash
--output-delimiter 更改输出内容的分隔符
[root@test1 opt]# head -n 1 /etc/passwd | cut -d ':' -f 1-3 --output-delimiter='@'
root@x@0
1.6、split文件的拆分：
split大文件拆分若干个小文件。
-l 按行来进行分割
[root@test1 opt]# split -l 30 test1.txt xy102
-b按照大小来分割
[root@test1 opt]# split -b 30m test1.txt xy102
面试题：
现在有一个日志文件，很大5g。第一个能不能快速打开？
拆分：-l 按行 -b 大小
这种大文件推荐使用按大小。
这种小文件推荐使用按行。
1.7、文件合并：
cat
paste
面试题：
cat合并和paste合并之间的区别：
cat是上下合并。
paste是左右合并。
cat 文本1 文本2 展示不改变
cat 文本1 文本2 > 文本3 合并以后传入文本3中
paste 文本1 文本2 展示不改变
paste 文本1 文本2 > 文本3 合并以后传入文本3中
面试题：主机连接状态有几种
[root@test1 opt]# ss -antp | grep -v 'State' | cut -d " " -f 1 | sort | uniq -c
2 ESTAB
15 LISTEN
三、正则表达式：
正则表达式：由一类特殊字符以及文本字符所编写的一个模式，模式又来匹配文件当中内容（字符）。
校验我们输入的内容是否满足。格式，长度等等要求。
主要用来匹配文本内容，命令的结果。
通配符：只能用于匹配文件名和目录名。不能匹配文件二点内容和命令结果。
正则表达式：
3.1、基本正则表达式：
元字符（字符匹配）
bash
. ：匹配任意单个字符
\ ：转义符：恢复字符的本意
[] ：匹配指定的范围内的任意单个字符或者数字，区分大小写，也可以用1-5，a-t这样的方式范围匹配
[^] ：取反，表示匹配除了^之后的内容
^ ：匹配以^之后内容开头的字符
^# ：匹配以#开头的行
^$ ：匹配空行
[ ]：中括号里输入空格，就可以匹配空格
注：匹配内容两边需要加引号，单引号双引号都可以. 任意单个字符，也可以是一个汉字。
\ 转义符 ，恢复其本意。
ls | grep "\."
[] 匹配指定范围内的任意单个字符或者数字
[^]为取反
"^"为 以什么开头的行
^#:以#开头
^$:表示空行
表示次数，匹配字符出现的字数：
*匹配前面的字符任意次，0次也可以。
.*匹配前面的字符，至少有1次。匹配所有。
\？匹配前面的字符，没匹配到就是0次或者1次，可有可无。
\ + 匹配的前面字符，至少出现一次>=1。
\ {n \ }匹配前面的字符=n次，可以小于n，但是不能大于n，而且前面的字符必须是连续出现
\ {m，n \ }匹配前面的字符，最少m次，最多n次，必须是连续出现，超出的不在匹配范围。
\ {,n \ }匹配前面的字符，最多n次，必须是连续出现，超出的不在匹配范围。不能少n次，
\ {n, \ }匹配前面的字符，最少n次
位置锚定：
^:以什么为开头，行首锚定
$:以什么为结尾，行尾锚定
"^root$"：只包含root。
\ < 或者\ b 词首锚定，匹配单词的左侧（连续的数字，字母，下划线都算单词内部）
\ > 或者 \ b 词尾锚定，匹配单词的右侧
\b单词\b:匹配整个单词。空格隔开的也算整个单词。
^单词$:整行只有这一个单词。
区别：
分组和逻辑关系
分组（）
或者 |
3.2、扩展正则表达式：
grep -E "" =egrep ""
987-123-4567
987 456-1230
(123) 456-7890
作业：
1、显示/etc/passwd中以sh结尾的行;
[root@localhost opt]# cat /etc/passwd | egrep "sh\b"
2、查找/etc/inittab中含有"以s开头，并以d结尾的单词"模式的行；
[root@localhost opt]# cat /etc/inittab | egrep "\bs[a-z]+d\b"
3、查找ifconfig命令结果中的1-255之间的整数；
[root@localhost opt]# ifconfig | egrep -o "\b[1-9]\b|\b[1][0-9][0-9]\b|\b[2][0-5][0-5]\b"
4、在/etc/passwd中取出默认shell为bash的行；
[root@localhost opt]# cat /etc/passwd | egrep "\bbash\b"
5、高亮显示passwd文件中冒号，及其两侧的字符
[root@localhost opt]# cat /etc/passwd | egrep ".?[:]+.?"