【Linux】awk 命令详解及使用示例:结构化文本数据处理工具

【Linux】awk 命令详解及使用示例:结构化文本数据处理工具

引言

awk 是一种强大的文本处理工具和编程语言,专为处理结构化文本数据而设计。它的名称来源于其三位创始人的姓氏首字母:Alfred A ho、Peter W einberger 和 Brian Kernighan。

基本功能

  1. 文本分析:按列/字段处理结构化文本数据
  2. 模式匹配:根据条件筛选文本
  3. 数据处理:支持算术运算和字符串操作
  4. 报表生成:格式化输出结果

工作原理

  1. awk 逐行读取输入
  2. 将每行按分隔符(默认是空格)分割为字段
  3. 对每行应用模式匹配和操作
  4. 输出处理结果

内置变量

  • $0 - 当前整行内容
  • $1, $2, ... - 第1个、第2个...字段
  • NF - 当前行的字段数
  • $NF - 最后一个字段
  • NR - 当前处理的行号
  • FNR - 当前文件中的行号
  • FS - 输入字段分隔符(默认为空白字符)
  • OFS - 输出字段分隔符
  • RS - 输入记录分隔符(默认为换行符)
  • ORS - 输出记录分隔符
  • FILENAME - 当前输入文件名

常用选项

  • -F 分隔符 - 指定输入字段分隔符
  • -v var=值 - 设置变量
  • -f 脚本文件 - 从文件读取awk脚本

程序结构

awk程序可以包含三部分:

  • BEGIN { ... } - 在处理文本前执行
  • pattern { action } - 对匹配的每一行执行
  • END { ... } - 在处理完所有文本后执行
bash 复制代码
awk 'BEGIN {print "开始处理"} 
     {sum += $1} 
     END {print "总和:", sum}' data.txt

控制结构

awk支持常见的编程语言控制结构:

  • 条件:if-else
  • 循环:for, while, do-while
  • 分支:switch
bash 复制代码
# 使用if条件
awk '{if ($1 > 10) print "大于10:", $0; else print "小于等于10:", $0}' file.txt

# 使用for循环
awk '{for(i=1; i<=3; i++) print $i}' file.txt

内置函数

awk提供了丰富的内置函数:

  • 数学函数:sqrt(), sin(), rand()
  • 字符串函数:length(), substr(), index(), match()
  • 时间函数:systime(), strftime()
  • 其他函数:gsub(), system()

使用示例

  • 利用awk命令获取查看用户为root的进程PID信息
bash 复制代码
ps aux | awk '$1=="root" {print $2}'
  • 利用列出/bin目录下连接文件的创建日期或者是最近的修改日期
bash 复制代码
ls -l /bin | awk '/^l/ {print $6, $7, $8}'
  • 利用awk指令设置变量a=1,b=3并查找/etc目录下连接文件中第 a , a, a,b列的字符信息
bash 复制代码
ls -l /etc | awk '/^l/ {a=1; b=3; print $a, $b}'
  • 利用awk列出/bin目录下连接文件的权限信息(使用substr内置函数)
bash 复制代码
ls -l /bin | awk '/^l/ {print substr($1, 1, 10)}'
  • 利用awk命令在/etc/passwd文件中显示以:作为分隔的第1列的数据
bash 复制代码
awk -F: '{print $1}' /etc/passwd
  • 利用awk命令在/etc/passwd文件中第一个"/"符号前面的字段变为"unknown"
bash 复制代码
awk -F/ '{$1="unknown"; print}' OFS=/ /etc/passwd

参考资料

相关推荐
森焱森2 小时前
水下航行器外形分类详解
c语言·单片机·算法·架构·无人机
2401_826097623 小时前
JavaEE-Linux环境部署
java·linux·java-ee
QuantumStack3 小时前
【C++ 真题】P1104 生日
开发语言·c++·算法
涛哥码咖4 小时前
chrome安装AXURE插件后无效
前端·chrome·axure
写个博客4 小时前
暑假算法日记第一天
算法
绿皮的猪猪侠4 小时前
算法笔记上机训练实战指南刷题
笔记·算法·pta·上机·浙大
(:满天星:)4 小时前
第31篇:块设备与字符设备管理深度解析(基于OpenEuler 24.03)
linux·运维·服务器·网络·centos
爱莉希雅&&&4 小时前
shell编程之awk命令详解
linux·服务器·git
笑稀了的野生俊4 小时前
在服务器中下载 HuggingFace 模型:终极指南
linux·服务器·python·bash·gpu算力
渡我白衣5 小时前
Linux操作系统之文件(四):文件系统(上)
linux