Linux 文本三剑客(grep, awk, sed)

一、grep(文本查找)

grep,globally search a regular expression and print

文本搜索工具(类似于windows中的查找功能?),支持正则表达式,常用于以下场景:

1. 在ls的输出结果中过滤指定文件名或后缀的文件

root家目录下过滤包含temp的文件

2. 在文本文件中匹配特定内容

tempForGrep目录下的文档site.txt,记录若干网址和字符
-r 递归查询当前目录下子文件的内容
-n 标记查找内容的行号
-i 忽略大小写

3. 结合正则表达式匹配邮箱或ip

4. 递归查找子目录(忽略文件/文件夹)

grep -r **--exclude-dir=**temp2 com ./ ,在当前目录下递归查找文件,--exclude-dir=temp2,可以忽略子目录temp2下的site2.txt文件,该功能常用来排除不需要查阅的代码库文件。
--exclude-dir= 忽略目录

参考链接:grep时排除指定的文件和目录 - dolinux - 博客园

grep简介
windows,office中的查找功能
grep支持的正则表达式符号
grep 命令参数

二、awk(文本样式扫描与处理)

awk是三个创始人名字的缩写(Alfred Aho,Peter Weinberger,Brian Kernighan),具有不同的版本AWK、NAWK、GAWK。
awk简介

awk 工具使用时,需要包含BEGIN、BODY、END三个代码块,对应如下功能:

BEGIN块,程序初始化,变量定义及赋值,可以省略。

body块,逐行读取文档每一行,并执行处理。

END块,用于程序结束后的简单输出,可以省略。
awk工作示意图
代码块功能

内置变量 中,最常用的就是NR ,从0计数,每读取一行文件自加一,当有多个文件的时候,连续计数不中断;FNR表示,从0计数,每当awk打开一个新文件的第一行,FNR从0开始自加一。NR==FNR表示处理第一份文件,BR>FNR表示处理第二份文件。

FS,域分隔符/列分隔符,也可以用awk -F " : "参数指定域分隔符,系统默认的域分隔符是空格。
awk内置变量

awk的主要使用场景:

  1. 过滤指定列的数据:

$1表示第一列,-F ":"和BEGIN{FS=":"}都表示指定分隔符
awk输出两份文件的差别项

  1. 比较两份文件,输出第一份文件没有第二份文件有的数据

例:b.txt表示学生姓名,a.txt表示学生信息,通过awk可以比较输出未处理b.txt中未处理的学生姓名。

NR==FNR表示正在处理第一份文件,即a.txt。利用awk内置的一维数组结构,对a.txt中以处理的第一列数据打标。NR>FNR表示第二份文件,即b.txt,判断当前元素是否位于数组,对于不在数组中的元素,输出显示。
awk过滤指定列的数据

三、sed(流编辑器)

逐行读取做模式匹配,默认只处理不修改源文件的内容。

  1. 字符替换
bash 复制代码
sed 's/old/new/' file.txt
  1. 字符插入
bash 复制代码
# 在第2行前插入a2
sed '2i\a2' file.txt

# 在第2行后插入b2
sed '2a\b2' file.txt
  1. 删除行
bash 复制代码
# 删除第2~4行,并写入源文件
sed -i '2,4d' 2.txt

四、文档增删改查的综合练习

  1. 使用tail查看新增用户信息,新增用户在/etc/passwd的末尾,使用tail命令查看文档倒数n行

  2. 使用awk对数据分列,域分隔符为":",输出第一列用户名

  3. 使用sed对用户名中的rd替换成Research & Develop

至此,可以实现对文档的增删改查操作。
管道符使用说明

参考链接:

linux查看文件前几行和后几行的命令_cat 读后5行的内容-CSDN博客

Linux管道符|命令使用详解_linux中|的用法-CSDN博客

相关推荐
梁bk3 小时前
[Nginx]反向代理和负载均衡
运维·nginx·负载均衡
2401_826097627 小时前
JavaEE-Linux环境部署
java·linux·java-ee
(:满天星:)8 小时前
第31篇:块设备与字符设备管理深度解析(基于OpenEuler 24.03)
linux·运维·服务器·网络·centos
小陶来咯8 小时前
【仿muduo库实现并发服务器】Acceptor模块
运维·服务器
爱莉希雅&&&8 小时前
shell编程之awk命令详解
linux·服务器·git
笑稀了的野生俊9 小时前
在服务器中下载 HuggingFace 模型:终极指南
linux·服务器·python·bash·gpu算力
cui_hao_nan9 小时前
Docker后端部署
运维·docker·容器
渡我白衣9 小时前
Linux操作系统之文件(四):文件系统(上)
linux
ZZH1120KQ9 小时前
Linux系统安全及应用
linux·运维·系统安全
程序漫游人10 小时前
centos8.5安装jdk21详细安装教程
java·linux