Awk
awk:文本三剑客之一,是功能最强大的文本工具
awk也是按行来进行操作,对行操作完之后,可以根据指定命令来对行取列
awk的分隔符,默认分隔符是空格或tab键,多个空格会压缩成一个
awk的用法
awk的格式:awk 选项 '模式或条件{操作}' 文件 在awk中操作默认就是打印
模式或条件:这么干 操作:操作结果 文件:操作的对象
例:打印第一列
awk '{print $1}' test.txt
$0打印全部内容
awk '{print $1,$2,$3}' test.txt
常用选项:
-F:指定分隔符,如果是空格,不需要加
-v:变量赋值(用的少)
awk常用的内置变量:
$0:打印所有的内容
$n(n为数字):处理行的第n列
NR:处理行的行号
NF:处理当前行的字段个数 $NF:表示最后一个字段
FS:列分隔符,指定文本的分隔符,和F作用一致 格式 FS=":"
不常用的:OFS输出文本的分隔符
RS:行分隔符,指定分隔符为回车
除了内置变量n,其他的内置变量不用加,不能用引号,也不能用括号,否则会被当成字符串处理
awk的打印功能:
awk '{print}' test.txt 打印所有,默认就是1
awk '0{print}' 什么都不打印
awk '{print NR}' test.txt 只打印行号
awk '{print NR,$0}' test.txt 既显示行号也显示内容
指定打印第三行 awk 'NR==3{print}' test.txt
打印第二行到第四行 awk 'NR==2,NR==4{print}' test.txt
奇偶打印:awk 'NR%2==0{print}' test.txt 打印偶数行
awk 'NR%2==1{print}' test.txt 打印奇数行
awk的运算功能:awk 'BEGIN{print 10+20}'
也支持小数运算 3**2或3^2 求幂即次方
面试题:awk的内置函数:getline
1、如果getline左右没有重定向符号(>,<) 或者没有管道符是,awk会先读第一行,但是如果加了getline,会跳过第一行,去读第二行
例:awk '{getline;print}' test.txt 只打印第二行和第四行,跳过了第一行和第三行
相当于打印奇数行
2、如果两边有重定向或管道符,getline作用于定向输入文件
例:awk '{getline < "test1.txt";print > "test2.txt"}' test1.txt
先从test1获取test1的内容输入到test2,作用对象为test1
3、管道符
例:ls | awk '{getline ky30;print $0,ky30;}'
ky30为自定义变量
ls输出的结果传给ky30,打印ls命令的输出结果
如果没有结果,打印空,不做如何操作
awk作为文本过滤进行打印
打印以root开头的 awk '/^root/{print}' test.txt
BEGIN模式更复杂的操作
awk 'BEGIN{..};{..};END{..}' 文件
在对文件进行操作之前,会先执行BEGIN{..}模式条件或命令操作
中间的{..}是真正的用于处理文件的命令
END{..}结束语句,一般都是打印执行结果
面试题:如何通过awk获取文件里有多少行
awk 'BEGIN{i=0};{i+1};END{print i}' test.txt
意思为test.txt有多少行就打印多少次
了解即可:-v 变量赋值,指的是改变分隔符
例:把分隔符:换成@
awk -v FS=":" -v OFS="2" '{print $1,$3}' /etc/passwd
awk的条件判断打印:
awk -F:'$3>10{print}' /etc/passwd | head -n 15 把passwd第三列大于10的全打印出来
取反 awk -F: '($4<10){print}' /etc/passwd | head -n 15 把第四列除了大于10的都打印出来
awk支持条件判断语句
awk -F:'{if ($3=10) {print}}' /etc/passwd 打印第三列等于10的内容
三元表达式:类似于JAVA 面试会问
格式:awk '(条件表达式)?(A表达式或值):(B表达式或值)'
?相当于if :相当于else
例:awk -F:'{i=($3>$4)?$3:$4;{print;}' /etc/passwd
如果满足第三列大于第四列就打印第三列,不满足就打印第四列
awk的精确筛选:>,<,= 比较数值
比较字符串:
$n~ "字符串":表示第n个字段包含某个字符串
$n!~ "字符串":表示不包含某个字符
$n== "字符串":表示第n个字符串就是某个字符
$n!= "字符串":表示不是某个字符串的选出来
$NF:表示最后一个字段
例:awk -F:'$7~"bash" {print 1,NF}' /etc/passwd
打印第七个字段包含bash的第一例和最后一列
awk -F:'$7~"nologin" {print $1,$3}' /etc/passwd
第七个字段不是nologin,打印第一和第三个字段
awk -F:'($6=="home/dn")&&($7=="/bin/bash"){print 1,NF}'
指定第六个字段为/home/dn 而且第七个字段是/bin/bash
&&相当于而且
awk -F:'($3!=0)||($4>10) {print $1}' /etc/passwd
所有第三列不是0或者第四列大于10的结果,打印第一列
awk结合数组来进行使用
在awk中怎么来定义数组
awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a)print i , a[i]}'
取的是a的索引 i in的是a的索引 0,1,2是a的索引
去重统计
awk '{a[$1]++};END{for(i in a)}{print i,a[i]}' test.txt
面
提取host.txt主机名后再放回host.txt文件
awk -F '[ .]+' '{print $2}' ms.txt
正则表达式是一种用于匹配文本模式的工具,而Awk是一种用于处理文本和数据的编程语言。Awk通常与正则表达式一起使用,以在文本数据中查找、处理和转换特定模式。
在Awk中,正则表达式被用于以下方面:
-
模式匹配: Awk使用正则表达式来识别文本中的模式。这可以用于从文本中提取特定格式的数据,或者对满足特定条件的行执行操作。
-
条件处理: Awk允许您基于正则表达式匹配来执行不同的操作。您可以根据文本中的某些模式或特征来决定是否应用某些处理逻辑。
-
字段处理: Awk将输入文本划分为字段,并且您可以使用正则表达式来匹配和操作特定字段。这在处理结构化的数据文件(如CSV文件)时特别有用。
-
替换和转换: 您可以使用正则表达式在文本中查找并替换特定的模式。这允许您进行数据转换和清理。
以下是一个简单的Awk示例,展示如何使用正则表达式来处理文本数据:
假设有一个名为data.txt的文本文件,内容如下:
您可以使用以下Awk命令来提取年龄大于等于 28 的人员姓名:
在这个命令中,-F:
指定了字段分隔符为冒号,$2 >= 28
是一个条件,表示第二个字段(年龄)大于等于28,{ print $1 }
是一个动作,表示打印第一个字段(姓名)。这个例子展示了如何使用Awk和正则表达式来处理文本数据中的特定模式。