⑤sed流编辑器与awk文本处理工具——项目实训任务

咖啡调调。2024-10-22 9:55

项目五 项目实训（sed流编辑器与awk文本处理工具）

### 文章目录

  • [项目五 项目实训（sed流编辑器与awk文本处理工具）](#文章目录 项目五 项目实训（sed流编辑器与awk文本处理工具） @[toc] 项目实施 任务一 正则表达式提取文本 任务二 sed案例 任务三 awk案例)
  • [@[toc]](#文章目录 项目五 项目实训（sed流编辑器与awk文本处理工具） @[toc] 项目实施 任务一 正则表达式提取文本 任务二 sed案例 任务三 awk案例)
  • [项目实施](#文章目录 项目五 项目实训（sed流编辑器与awk文本处理工具） @[toc] 项目实施 任务一 正则表达式提取文本 任务二 sed案例 任务三 awk案例)
  • [任务一 正则表达式提取文本](#文章目录 项目五 项目实训（sed流编辑器与awk文本处理工具） @[toc] 项目实施 任务一 正则表达式提取文本 任务二 sed案例 任务三 awk案例)
  • [任务二 sed案例](#文章目录 项目五 项目实训（sed流编辑器与awk文本处理工具） @[toc] 项目实施 任务一 正则表达式提取文本 任务二 sed案例 任务三 awk案例)
  • [任务三 awk案例](#文章目录 项目五 项目实训（sed流编辑器与awk文本处理工具） @[toc] 项目实施 任务一 正则表达式提取文本 任务二 sed案例 任务三 awk案例)

【实训任务】

本实训的主要任务是编写正则表达式文本以根据给定的模式从文本中提取特定信息，使用sed命令批量替换文本中的内容或执行其他编辑操作，以及编写awk脚本处理文本数据，进行数据提取、计算、格式化输出等操作。

【实训目的】

（1）理解正则表达式的基本语法和常见元字符。

（2）掌握正则表达式在文本匹配和搜索中的使用方法。

（3）掌握sed命令中的替换、删除、插入等编辑操作。

（4）理解awk中的模式匹配和动作执行的结构。

（5）掌握使用awk命令对文本进行分隔、过滤、计算和格式化处理的方法。

【实训内容】

（1）通过编写适当的正则表达式，从给定文本中提取所需数据。

（2）使用grep命令根据给定模式搜索文本，输出符合条件的行。

（3）使用sed命令对文本进行修改、删除、插入等操作，实现对文本的批量处理。

（4）使用awk脚本进行数据提取、格式化输出等操作，通过指定模式和动作，对文本进行灵活的处理和转换。

【实训环境】

在进行本项目的实训操作前，提前准备好Linux操作系统环境，RHEL、CentOS Stream、Debian、Ubuntu、华为openEuler、麒麟openKylin等常见Linux发行版都可以进行项目实训。

项目实施

任务一 正则表达式提取文本

1．任务描述

（1）在Linux操作系统中创建测试文件file.txt。

（2）以file.txt的内容为示例文本，使用不同的元字符及其组合，结合正则表达式来提取数据。

2．任务实施

（1）在用户家目录中，创建测试文件file.txt。

bash 复制代码 
[root@redhat04 ~]# vim file.txt
[root@redhat04 ~]# cat file.txt 
This is a sample text for testing regular expressions. 
The quick brown fox jumps over the lazy dog. 
1234567890
E-mail: example@example.com
Regular expressions is too sample

（2）提取包含字母"o"具其后为任意字符的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# grep "o." file.txt 
This is a sample text for testing regular expressions. 
The quick brown fox jumps over the lazy dog. 
E-mail: example@example.com
Regular expressions is too sample

（3）提取包含字母"o"的0个、1个或多个实例的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# grep "o*" file.txt 
This is a sample text for testing regular expressions. 
The quick brown fox jumps over the lazy dog. 
1234567890
E-mail: example@example.com
Regular expressions is too sample

（4）提取以字母"b"开头、以字母"n"结尾的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# grep "b.*n" file.txt 
The quick brown fox jumps over the lazy dog.

（5）提取包含字母"u"的一个或多个实例的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# egrep "u+" file.txt 
This is a sample text for testing regular expressions. 
The quick brown fox jumps over the lazy dog. 
Regular expressions is too sample

（6）提取包含单词"This"且其后有0个或一个字母"s"的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# egrep "This?" file.txt 
This is a sample text for testing regular expressions.

（7）提取以单词"The"开头的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# grep "^The" file.txt 
The quick brown fox jumps over the lazy dog.

（8）提取以"com"结尾的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# grep "com$" file.txt 
E-mail: example@example.com

（9）提取包含"fox"或"dog"的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# egrep "fox|dog" file.txt 
The quick brown fox jumps over the lazy dog.

（10）提取包含元音字母的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# grep "[aeiou]" file.txt 
This is a sample text for testing regular expressions. 
The quick brown fox jumps over the lazy dog. 
E-mail: example@example.com
Regular expressions is too sample

（11）提取包含点号的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# grep "\." file.txt 
This is a sample text for testing regular expressions. 
The quick brown fox jumps over the lazy dog. 
E-mail: example@example.com

（12）提取包含1～3个字母"o"的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# egrep "o{1,3}" file.txt 
This is a sample text for testing regular expressions. 
The quick brown fox jumps over the lazy dog. 
E-mail: example@example.com
Regular expressions is too sample

（13）提取包含字母"f"且其后接0个或一个字母"o"，最后是字母"x"的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# egrep "fo?x" file.txt
The quick brown fox jumps over the lazy dog.

（14）提取包含"fox jumps"或"dog jumps"的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# egrep "(fox|dog) jumps" file.txt
The quick brown fox jumps over the lazy dog.

（15）提取包含连续两个字母"o"的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# egrep "o{2}" file.txt
Regular expressions is too sample

（16）提取以"dog."结尾的行，并显示在终端上。

bash 复制代码 
[root@redhat04 ~]# egrep "dog\.$" file.txt
[root@redhat04 ~]#

任务二 sed案例

1．任务描述

（1）在Linux操作系统中创建测试文件file1.txt。

（2）以file1.txt的内容为示例文本，使用sed命令和正则表达式对文本进行操作。
2．任务实施

（1）在用户家目录中，创建测试文件file1.txt。

bash 复制代码 
[root@redhat04 ~]# vim file1.txt 
[root@redhat04 ~]# cat file1.txt 
Distribution    Kernel Version     Community
Ubuntu        6.3.4              Ubuntu Community
Fedora        6.3.4               Fedora Project
Debian        6.1.30              Debian Project
Arch Linux      6.2.16            Arch Linux Community
Mint               5.4.243                Mint Community
Manjaro       5.10.180            Manjaro Community
openSUSE      5.10.180            openSUSE Community
openEuler      6.2.16             openEuler Community
RHEL           5.15.113          Red Hat Inc.

（2）将文本中的"Ubuntu"替换为"Ubuntu Linux"，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed 's/Ubuntu/Ubuntu Linux/g' file1.txt
Distribution    Kernel Version     Community
Ubuntu Linux          6.3.4              Ubuntu Linux Community
Fedora        6.3.4               Fedora Project
Debian        6.1.30              Debian Project
Arch Linux      6.2.16            Arch Linux Community
Mint               5.4.243                Mint Community
Manjaro       5.10.180            Manjaro Community
openSUSE      5.10.180            openSUSE Community
openEuler      6.2.16             openEuler Community
RHEL           5.15.113          Red Hat Inc.

（3）删除包含"Community"的行，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed '/Community/d' file1.txt
Fedora        6.3.4               Fedora Project
Debian        6.1.30              Debian Project
RHEL           5.15.113          Red Hat Inc.

（4）提取以"Mint"开头的行，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed -n '/^Mint/p' file1.txt
Mint               5.4.243                Mint Community

（5）在每行的末尾添加" - Stable Version"，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed 's/$/ - Stable Version/' file1.txt
Distribution    Kernel Version     Community - Stable Version
Ubuntu        6.3.4              Ubuntu Community - Stable Version
Fedora        6.3.4               Fedora Project - Stable Version
Debian        6.1.30              Debian Project - Stable Version
Arch Linux      6.2.16            Arch Linux Community - Stable Version
Mint               5.4.243                Mint Community - Stable Version
Manjaro       5.10.180            Manjaro Community - Stable Version
openSUSE      5.10.180            openSUSE Community - Stable Version
openEuler      6.2.16             openEuler Community - Stable Version
RHEL           5.15.113          Red Hat Inc. - Stable Version

（6）在以"Debian"开头的行前插入一行内容"New Line"，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed '/^Debian/i New Line' file1.txt
Distribution    Kernel Version     Community
Ubuntu        6.3.4              Ubuntu Community
Fedora        6.3.4               Fedora Project
New Line
Debian        6.1.30              Debian Project
Arch Linux      6.2.16            Arch Linux Community
Mint               5.4.243                Mint Community
Manjaro       5.10.180            Manjaro Community
openSUSE      5.10.180            openSUSE Community
openEuler      6.2.16             openEuler Community
RHEL           5.15.113          Red Hat Inc.

（7）提取每行中匹配模式"5.x.x"的内容，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed -n 's/.*\(5\.[0-9]\+\.[0-9]\+\).*$/\1/p' file1.txt
5.4.243
5.10.180
5.10.180
5.15.113

（8）将动作指令写入文件，通过sed选项读取指令，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# echo "p" > commands 
[root@redhat04 ~]# sed -n -f commands file1.txt 
Distribution    Kernel Version     Community
Ubuntu        6.3.4              Ubuntu Community
Fedora        6.3.4               Fedora Project
Debian        6.1.30              Debian Project
Arch Linux      6.2.16            Arch Linux Community
Mint               5.4.243                Mint Community
Manjaro       5.10.180            Manjaro Community
openSUSE      5.10.180            openSUSE Community
openEuler      6.2.16             openEuler Community
RHEL           5.15.113          Red Hat Inc.

（9）删除第1行、第2行和第5行，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed -e '1d' -e '2d' -e '5d' file1.txt
Fedora        6.3.4               Fedora Project
Debian        6.1.30              Debian Project
Mint               5.4.243                Mint Community
Manjaro       5.10.180            Manjaro Community
openSUSE      5.10.180            openSUSE Community
openEuler      6.2.16             openEuler Community
RHEL           5.15.113          Red Hat Inc.

（10）将文本中的所有数字替换为字母"X"，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed 's/[0-9]/X/g' file1.txt
Distribution    Kernel Version     Community
Ubuntu        X.X.X              Ubuntu Community
Fedora        X.X.X               Fedora Project
Debian        X.X.XX              Debian Project
Arch Linux      X.X.XX            Arch Linux Community
Mint               X.X.XXX                Mint Community
Manjaro       X.XX.XXX            Manjaro Community
openSUSE      X.XX.XXX            openSUSE Community
openEuler      X.X.XX             openEuler Community
RHEL           X.XX.XXX          Red Hat Inc.

（11）提取每行的第二列内容，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed 's/^[^[:blank:]]\+[[:blank:]]\+\([^[:blank:]]\+\).*/\1/' file1.txt
Kernel
6.3.4
6.3.4
6.1.30
Linux
5.4.243
5.10.180
5.10.180
6.2.16
5.15.113

（12）在文件中的所有行的开头添加行号，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# sed = file1.txt | sed 'N; s/\n/ /'
1 Distribution    Kernel Version     Community
2 Ubuntu              6.3.4              Ubuntu Community
3 Fedora              6.3.4               Fedora Project
4 Debian              6.1.30              Debian Project
5 Arch Linux      6.2.16                  Arch Linux Community
6 Mint             5.4.243                Mint Community
7 Manjaro             5.10.180            Manjaro Community
8 openSUSE      5.10.180                  openSUSE Community
9 openEuler      6.2.16           openEuler Community
10 RHEL           5.15.113          Red Hat Inc.

任务三 awk案例

1．任务描述

（1）在Linux操作系统中创建测试文件awkfile.txt。

（2）以awkfile.txt的内容为示例文本，使用awk命令对文本进行操作。
2．任务实施

（1）在用户家目录中，创建测试文件awkfile.txt。

bash 复制代码 
[root@redhat04 ~]# cat awkfile.txt 

EmployeeID,FirstName,LastName,Age,Position,Company,StartDate
101,John,Doe,30,Software Engineer,Huawei Technologies Co.Ltd.,2022-01-15
102,Alice,Smith,28,Data Scientist,Red Hat Inc.,2021-11-20
103,Bob,Johnson,35,Project Manager,CentOS Project,2022-03-10
104,Emma,Williams,25,UX Designer,Example Company,2020-09-05
105,David,Anderson,40,HR Manager,Another Company,2023-02-28
106,Tommy,Alex,45,HR Manager,Other Company,2019-02-28

（2）输出EmployeeID 和 FirstName信息，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' '{print $1, $2}' awkfile.txt
 
EmployeeID FirstName
101 John
102 Alice
103 Bob
104 Emma
105 David
106 Tommy

（3）输出年龄大于等于 30 的员工信息，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' '$4 >= 30 {print}'  awkfile.txt
EmployeeID,FirstName,LastName,Age,Position,Company,StartDate
101,John,Doe,30,Software Engineer,Huawei Technologies Co.Ltd.,2022-01-15
103,Bob,Johnson,35,Project Manager,CentOS Project,2022-03-10
105,David,Anderson,40,HR Manager,Another Company,2023-02-28
106,Tommy,Alex,45,HR Manager,Other Company,2019-02-28

（4）输出所有职位为 "Project Manager" 的员工信息，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' '$5 == "Project Manager" {print}' awkfile.txt
103,Bob,Johnson,35,Project Manager,CentOS Project,2022-03-10

（5）输出员工平均年龄，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' '{sum += $4; count++} END {print "Average Age:", sum/count}' awkfile.txt
Average Age: 25.375

（6）输出入职日期在 2022 年之后的员工信息，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' '$7 > "2022-01-01" {print}' awkfile.txt
EmployeeID,FirstName,LastName,Age,Position,Company,StartDate
101,John,Doe,30,Software Engineer,Huawei Technologies Co.Ltd.,2022-01-15
103,Bob,Johnson,35,Project Manager,CentOS Project,2022-03-10
105,David,Anderson,40,HR Manager,Another Company,2023-02-28

（7）按照部门统计员工数量并打印，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' '{dept[$5]++} END {for (d in dept) print "Department:", d, "Employee Count:", dept[d]}' awkfile.txt
Department:  Employee Count: 1
Department: HR Manager Employee Count: 2
Department: UX Designer Employee Count: 1
Department: Software Engineer Employee Count: 1
Department: Project Manager Employee Count: 1
Department: Position Employee Count: 1
Department: Data Scientist Employee Count: 1

（8）输出每个员工姓名长度，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' ' NR != 1 {len = length($2 $3); print "EmployeeID:", $1, "FullName Length:", len}' awkfile.txt
EmployeeID: EmployeeID FullName Length: 17
EmployeeID: 101 FullName Length: 7
EmployeeID: 102 FullName Length: 10
EmployeeID: 103 FullName Length: 10
EmployeeID: 104 FullName Length: 12
EmployeeID: 105 FullName Length: 13
EmployeeID: 106 FullName Length: 9

（9）使用正则表达式"[,.]"作为字段分隔符，提取第1个字段和第4个字段，并输出，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F'[,.]' '{print $1, $4}' awkfile.txt
 
EmployeeID Age
101 30
102 28
103 35
104 25
105 40
106 45

（10）使用内置变量NF输出每行的最后一个字段内容，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' '{print "Last Field:" $NF}' awkfile.txt
Last Field:
Last Field:StartDate
Last Field:2022-01-15
Last Field:2021-11-20
Last Field:2022-03-10
Last Field:2020-09-05
Last Field:2023-02-28
Last Field:2019-02-28

（11）使用内置变量NR输出每行的行号和内容，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk '{ print "Line:", NR, "Content:", $0 }' awkfile.txt
Line: 1 Content: 
Line: 2 Content: EmployeeID,FirstName,LastName,Age,Position,Company,StartDate
Line: 3 Content: 101,John,Doe,30,Software Engineer,Huawei Technologies Co.Ltd.,2022-01-15
Line: 4 Content: 102,Alice,Smith,28,Data Scientist,Red Hat Inc.,2021-11-20
Line: 5 Content: 103,Bob,Johnson,35,Project Manager,CentOS Project,2022-03-10
Line: 6 Content: 104,Emma,Williams,25,UX Designer,Example Company,2020-09-05
Line: 7 Content: 105,David,Anderson,40,HR Manager,Another Company,2023-02-28
Line: 8 Content: 106,Tommy,Alex,45,HR Manager,Other Company,2019-02-28

（12）使用内置函数split将字段内容按逗号分隔成数组，并输出数组元素。

bash 复制代码 
awk -F ',' '{ split($0, arr, ","); for (i in arr) print "Element:", arr[i] }' awkfile.txt
Element: EmployeeID
Element: FirstName
Element: LastName
Element: Age
Element: Position
Element: Company
Element: StartDate
Element: 101
Element: John
Element: Doe
Element: 30
Element: Software Engineer
Element: Huawei Technologies Co.Ltd.
Element: 2022-01-15
Element: 102
Element: Alice
Element: Smith
Element: 28
Element: Data Scientist
Element: Red Hat Inc.
Element: 2021-11-20
Element: 103
Element: Bob
Element: Johnson
Element: 35
Element: Project Manager
Element: CentOS Project
Element: 2022-03-10
Element: 104
Element: Emma
Element: Williams
Element: 25
Element: UX Designer
Element: Example Company
Element: 2020-09-05
Element: 105
Element: David
Element: Anderson
Element: 40
Element: HR Manager
Element: Another Company
Element: 2023-02-28
Element: 106
Element: Tommy
Element: Alex
Element: 45
Element: HR Manager
Element: Other Company
Element: 2019-02-28

（13）使用内置函数substr提取版本号中的主要版本部分，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F',' 'NR > 1 {print $1, "FirstName (3 chars):", substr($2, 1, 3)}' awkfile.txt
EmployeeID FirstName (3 chars): Fir
101 FirstName (3 chars): Joh
102 FirstName (3 chars): Ali
103 FirstName (3 chars): Bob
104 FirstName (3 chars): Emm
105 FirstName (3 chars): Dav
106 FirstName (3 chars): Tom

（14）使用内置函数tolower将发行版名称转换为小写形式，将结果显示在终端上。

bash 复制代码 
[root@redhat04 ~]# awk -F ',' '{ print "Lowercase Distribution:", tolower($2) }' awkfile.txt
Lowercase Distribution: 
Lowercase Distribution: firstname
Lowercase Distribution: john
Lowercase Distribution: alice
Lowercase Distribution: bob
Lowercase Distribution: emma
Lowercase Distribution: david
Lowercase Distribution: tommy

（15）创建awk脚本，以逗号作为分隔符，输出员工ID，并计算每个员工的工作年限。

bash 复制代码 
[root@redhat04 ~]# vim define-func.awk
[root@redhat04 ~]# cat define-func.awk 
BEGIN {
    FS = ","
    print "EmployeeID,WorkYears"  # 输出标题行
}
NR > 1 {
    # 将StartDate字段拆分为年、月、日
    split($7, start_date, "-")
    start_timestamp = mktime(start_date[1] " " start_date[2] " " start_date[3] " 0 0 0")
    current_timestamp = systime()
    work_years = int((current_timestamp - start_timestamp) / (365 * 24 * 3600))
    print $1, work_years
}
# 执行awk脚本

[root@redhat04 ~]# awk -f define-func.awk awkfile.txt 
EmployeeID,WorkYears
EmployeeID 54
101 2
102 2
103 2
104 4
105 1
106 5
相关推荐
陌上阳光4 小时前
vscode连接远程开发机报错
ide·vscode·编辑器
羊子雄起5 小时前
CKEditor前端样式和编辑器的样式不一致的问题
前端·编辑器
界面开发小八哥8 小时前
「Java EE开发指南」如何使用Visual JSF编辑器设计JSP？（一）
java·ide·java-ee·编辑器·myeclipse
Bio Coder10 小时前
vim 一次注释多行 的几种方法
linux·编辑器·vim·注释·快捷键·方法·取消注释
luckilyil20 小时前
前端—Cursor编辑器
前端·编辑器
运维小文1 天前
linux中的特殊符号
linux·正则表达式·shell·linux命令
一棵开花的树，枝芽无限靠近你1 天前
【PPTist】开源PPT编辑器初体验
编辑器·powerpoint
Random_index1 天前
#开发环境篇：vscode里面登录已同步设置的提示1怎么取消
ide·vscode·编辑器
赵闪闪1681 天前
Node.js 安装与环境配置详解：从入门到实战
node.js·编辑器·vim
风流野趣fly1 天前
好用的 IDEA 插件
java·编辑器·intellij-idea
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06RAG 实践- Ollama+RagFlow 部署本地知识库0704 - matlab m_map地学绘图工具基础函数 - 设置网格08Unity中PICO实现 隔空取物 和 接触抓取物体09Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO10【目标跟踪】相机运动补偿