Linux四剑客grep、find、sed、awk使用

‌介绍

Linux四剑客‌是指在Linux系统中非常常用的四个命令工具，它们分别是grep、find、sed和awk。这四个工具在Linux系统中具有非常强大的功能，可以方便快捷地对文本进行搜索、处理和查找。‌

grep命令

作用

grep命令主要用于过滤文件内容，在文件中找到你需要或者不要的内容，类似与一个漏斗_.

语法

grep [选项] [关键字] 文件

常用选项说明

这里只列出了实际工作中常用的选项，如果有其它的选项漏掉的，可以进行评论

-i：不区分关键字的大小写，ignore case
-n：显示文件的行号
-v：取反，排除关键字
-r：递归搜索指定目录下的所有文件，例如grep -r "pattern" /path/to/directory
-c：计数，只返回匹配的行数，类似wc -l命令
-e：同时搜索多个模式，匹配任意一个即可。例如grep -e "pattern1" -e "pattern2" file.txt
-E：可以使用正则表达式，例如grep -E "pattern1|pattern2" file.txt
-l：在多个文件中搜索时，只显示包含匹配模式的文件名，而不是文件内容。例如grep -l "pattern" *.txt
-L：在多个文件中搜索时，只显示不包含匹配模式的文件名。例如grep -L "pattern" *.txt
-C：显示匹配行前后的指定行数。例如grep -C 2 "pattern" file.txt
-F：匹配包含固定字符串的行。例如grep -F "fixed" string file.txt
-A：显示匹配行后的指定行数。如grep -A 2 "pattern" file.txt
-B：显示匹配行前的指定行数。如grep -B 2 "pattern" file.txt

find命令

作用

find 是一个在 Linux 和 Unix 系统中非常强大的命令行工具，用于在文件系统中搜索文件和目录。它可以根据文件名、路径、大小、修改时间、权限等多种条件进行搜索

语法

复制代码

find [搜索路径] [选项] [表达式]

搜索路径，指定从哪个目录开始搜索，如果不指定搜索深度，默认会在指定目录下递归搜索。如果不指定目录，默认从当前目录开始
选项：用于控制搜索行为，例如递归深度，搜索类型等
表达式：用于定义搜索条件，如文件名、大小、修改时间等

常用选项

-name：根据文件名搜索

#搜索/etc目录下hosts文件
[root@master:~]# find /etc/ -name "hosts"
/etc/hosts

#搜索/etc目录下所有以conf结尾的文件
[root@master:~]# find /etc -name "*.conf"
/etc/nscd.conf
/etc/nsswitch.conf
...
/etc/modules-load.d/modules.conf
/etc/request-key.d/id_resolver.conf
/etc/kubernetes/scheduler.conf
-type：指定文件类型
- f：文件类型为普通文件
- d：文件类型为目录
- l：文件类型为符号链接
  
  搜索/etc目录下所有的目录
  
  [root@master:~]$ find /etc/ -type d
  
  搜索/etc目录下所有的文件
  
  [root@master:~]$ find /etc/ -type f
  
  搜索/etc目录下所有的符号连接
  
  [root@master:~]$ find /etc/ -type l
-size：根据文件大小搜索
- +n：文件大于n
- -n：文件小于n
- n：文件等于n
- 单位：c(byte)、k(kb)、M(Mib)、G(Gib)
  
  搜索/etc目录下大于10K的文件
  
  [root@master:~]$ find /etc/ -size +10k
  /etc/login.defs
  /etc/X11/rgb.txt
  /etc/ld.so.cache
-mtime：根据文件修改时间搜索，单位天。
- +n：超过 n 天。
- -n：少于 n 天。
- n：正好 n 天。
  
  #查找etc目录下修改时间大于30天的文件
  [root@master:~]$ find /etc/ -mtime +30
-mmin：根据文件修改时间搜索，单位分钟
- +m：超过 m 分钟
- -m：少于 m 分钟
- m：正好 m 分钟
  
  #查找etc目录下修改时间大于30分钟的文件
  [root@master:~]$ find /etc/ -mmin +30
-perm：根据文件权限进行搜索

[root@master:~]$ find /etc/ -perm 755
-user：根据文件拥有者进行搜索

搜索etc目录下，用户为root的文件

[root@master:~]$ find /etc/ -user root
-group：根据文件所属组进行搜索

[root@master:~]$ find /etc/ -group root
-maxdepth：限制搜索的最大深度，也就是指定递归搜索的深度
1代表指定目录下，2代表指定目录下的下一层目录，依次递归下去

查找当前目录下以conf结尾的文件

[root@master:~]$ find /etc/ -maxdepth 1 -name "*.conf"
-empty：查找空目录或空文件

查找空目录

[root@master:~]$ find /etc/ -type d -empty

查找空文件

[root@master:~]$ find /etc/ -type f -empty
-delete：直接删除文件

查找到空文件直接删除

[root@master:~]$ find /var/ -type f -empty -delete
-exec：对搜索到的文件执行命令

查找到空文件进行删除

[root@master:~]$ find /var/ -type f -empty -exec rm -f {} \
-a：使用-a（逻辑与，and）或者默认的空格分隔符组合多个条件

[root@master:~]$ find /path/to/search -type f -size +10M -mtime +30
-o：使用-o（逻辑或，or）组合多个条件

#搜索文件扩展名为txt或log的文件
[root@master:~]$ find /path/to/search $-name "*.txt" -o -name "*.log"$

sed命令

sed（Stream Editor）是一个流式文本编辑器，用于对文本进行快速的、非交互式的编辑。它能够对输入的文本进行各种操作，如替换、删除、插入、提取等，并将结果输出到标准输出（stdout）。

基本语法

复制代码

sed [选项] '编辑命令' 文件名

选项：用于控制 sed 的行为，例如 -i 表示直接修改文件，-n 表示静默模式。
编辑命令：定义对文本的具体操作，通常放在单引号或双引号中。
文件名：指定要处理的文件。如果省略文件名，sed 会从标准输入读取数据。

sed常用选项：

-n：默认情况下，sed会在所有的脚本执行完毕后，自动输出处理后的内容，而该选项会屏蔽自动输出，需要使用print命令来完成输出。一般结合p使用
-i：此选项会直接修改源文件，要慎用
-i.bak：先备份再修改文件内容，推荐使用
-r：支持扩展正则

`sed` 打印行

示例一：打印出文件所有的内容

复制代码

[root@master:~]# sed '' /etc/passwd
root:x:0:0:root:/root:/bin/bash
#...省略万字内容
devops:x:1000:1000::/home/devops:/bin/sh

示例二：打印出文件的第五行数据

复制代码

[root@master:~]# sed -n '5p' /etc/passwd
sync:x:4:65534:sync:/bin:/bin/sync

示例三：打印出文件的第五行至第十行数据

复制代码

[root@master:~]# sed -n '5,10p' /etc/passwd
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin

示例四：打印出文件的最后一行数据

复制代码

[root@master:~]# sed -n '$p' /etc/passwd
devops:x:1000:1000::/home/devops:/bin/sh

`sed` 过滤内容

示例一：过滤包含root的行

复制代码

[root@master:~]# sed -n '/root/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash

示例二：过滤包含root和devops的行

复制代码

[root@master:~]# sed -nr '/root|devops/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
devops:x:1000:1000::/home/devops:/bin/sh

`sed` 替换文件内容

语法：

复制代码

sed [选项] 's#源内容#要修改的内容#g' 文件名
选项说明：
-i：替换文件
-i.bak：先备份文件为源文件名.bak

示例：

复制代码

# 先模拟数据
[root@master:~]# cat>1.txt<<EOF
> huangsir
> huangsir
> huangsir666
> EOF

# 不加-i选项，发现并没有替换文件内容
[[root@master:~]]# sed s#huangsir#root#g 1.txt
root
root
root666
[root@master:~]# cat 1.txt
huangsir
huangsir
huangsir666


# 添加-i.bak进行替换
root@master:~# sed -i.bak s#huangsir#root#g 1.txt
root@master:~# ll 1.txt 1.txt.bak
-rw-r--r-- 1 root root 18 Apr 17 16:28 1.txt
-rw-r--r-- 1 root root 30 Apr 17 16:26 1.txt.bak
root@master:~# cat 1.txt
root
root
root666
root@master:~# cat 1.txt.bak
huangsir
huangsir
huangsir666

# 直接修改，不备份
root@master:~# sed -i s#huangsir#root#g 1.txt.bak
root@master:~# cat 1.txt.bak
root
root
root666

示例：分组进行替换

复制代码

root@master:~# echo 123456 | sed -r 's#(12)(34)(56)#\1\2\3#g'
123456
root@master:~# echo 123456 | sed -r 's#(12)(34)(56)#\3\2\1#g'
563412

`sed` 删除内容

编辑命令中添加d可以删除文件内容

示例：删除某一行的数据

复制代码

# 删除第一行的数据
sed -i '1d' 1.txt

# 删除最后一行的数据
sed -i '$d' 1.txt

# 删除前缀为1的行
sed -i '/^1/d' 1.txt

`sed` 增加文件内容

指令：

c:replace:clean 清空指定行，然后写入内容
a：apennd,在指定那行下面增加一行
i：insert，在指定那行上面增加一行

示例：在文件第一行下增加一行数据

复制代码

# 在第一行后追加一行haha数据
sed -i '1a haha' 1.txt

awk命令

awk能够对文本文件进行复杂的分析、处理和格式化操作。与 sed 不同，awk 更适合处理结构化的文本数据，例如带有分隔符的表格数据。

作用：取行、取列、统计与计算

语法

复制代码

awk [选项] '模式 {动作}' 文件名

常用选项

-F：指定字段分隔符（默认为空白字符，如空格或制表符）。
-f：从文件中读取 awk 脚本。
-v：定义变量的初始值

使用awk取行

awk中内置变量NR表示行

示例：

复制代码

# 取出第一行的数据
root@master:~# awk 'NR==1' /etc/passwd
root:x:0:0:root:/root:/bin/bash

# 取出第三行到第十行的数据
root@master:~# awk 'NR>=3 && NR<=10' /etc/passwd
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin

# 取出包含bash的行
root@master:~# awk '/bash/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

# 取出包含root和devops的行
root@master:~# awk '/root|devops/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
devops:x:1000:1000::/home/devops:/bin/sh


# 取出文件中指定时间段内的日志
root@master:~# awk '/11:00:00/,/11:10:00/' /acces.log

awk取列

awk中内置变量NF表示列

示例：

复制代码

# 取出/etc/hosts文件的第三列、最后一列
root@master:~# awk '{print $3,$NF}' /etc/hosts
localhost
following                hosts
ip6-localhost            ip6-loopback
ip6-allnodes
ip6-allrouters
iv-ydpkgu0jcwwh2yox8410  iv-ydpkgu0jcwwh2yox8410

# 对齐
root@master:~# awk '{print $3,$NF}' /etc/hosts | column -t
localhost
following                hosts
ip6-localhost            ip6-loopback
ip6-allnodes
ip6-allrouters
iv-ydpkgu0jcwwh2yox8410  iv-ydpkgu0jcwwh2yox8410

awk取行取列

示例：取出ip a s eth0的IP地址

复制代码

root@master:~# ip a s eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:16:3e:16:5b:ef brd ff:ff:ff:ff:ff:ff
    inet 10.3.0.86/20 brd 10.3.15.255 scope global dynamic eth0
       valid_lft 310239265sec preferred_lft 310239265sec
    inet6 fe80::216:3eff:fe16:5bef/64 scope link
       valid_lft forever preferred_lft forever

root@master:~# ip a s eth0 | awk 'NR==3' | awk -F 'inet |/20' '{print $2}'
10.3.0.86

示例：统计free结果中内存空闲率

复制代码

root@master:~# free | awk 'NR==2{print $NF/$2}'
0.82089
root@master:~# free | awk 'NR==2{print $NF/$2*100"%"}'
82.0729%

awk计算

大多数情况都可以使用awk进行算数运算，awk可以进行整数、小数的运算

基础用法示例：

复制代码

root@master:~$ awk 'BEGIN{print 1/3}'
0.333333
root@master:~$ awk 'BEGIN{print 2*3}'
6
root@master:~$ awk 'BEGIN{print 3+3}'
6
root@master:~$ awk 'BEGIN{print 4-3}'
1

携带变量示例
awk -v选项用于创建或修改awk中的变量，-v是shell脚本与awk的桥梁

在awk中各种变量直接使用即可，不要加上$，如果加上了会被awk认为是取列

复制代码

root@master:~$ num1=2
root@master:~$ num2=5
root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1/a2}'
0.4
root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1*a2}'
10
root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1+a2}'
7
root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1-a2}'
-3

Linux四剑客grep、find、sed、awk使用

‌介绍

grep命令

作用

语法

常用选项说明

find命令

作用

语法

常用选项

搜索/etc目录下所有的目录

搜索/etc目录下所有的文件

搜索/etc目录下所有的符号连接

搜索/etc目录下大于10K的文件

搜索etc目录下，用户为root的文件

查找当前目录下以conf结尾的文件

查找空目录

查找空文件

查找到空文件直接删除

查找到空文件进行删除

sed命令

基本语法

sed 打印行

sed 过滤内容

sed 替换文件内容

sed 删除内容

sed 增加文件内容

awk命令

语法

使用awk取行

awk取列

awk取行取列

awk计算

`sed` 打印行

`sed` 过滤内容

`sed` 替换文件内容

`sed` 删除内容

`sed` 增加文件内容