云计算大数据——shell教程（三剑客之awk）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言
一、概述
- [1.1 什么是 AWK？](#1.1 什么是 AWK？)
- [1.2 应用场景](#1.2 应用场景)
二、工作原理
- [2.1 逐行处理机制](#2.1 逐行处理机制)
- [2.2 awk 与 sed 的区别](#2.2 awk 与 sed 的区别)
三、基本语法与命令格式
- [3.1 命令格式](#3.1 命令格式)
- [3.2 常用选项](#3.2 常用选项)
四、内置变量
五、常用操作示例
- [5.1 打印整行或指定字段](#5.1 打印整行或指定字段)
- [5.2 内建变量](#5.2 内建变量)
- 扩展生产案列：网卡的ip、流量
- [5.3 BEGIN END 运算](#5.3 BEGIN END 运算)
- - [5.3.1 awk的运算](#5.3.1 awk的运算)
  - [5.3.2 模糊匹配](#5.3.2 模糊匹配)
  - [5.3.3 关于数值与字符串的比较](#5.3.3 关于数值与字符串的比较)
  - [5.3.4 逻辑运算](#5.3.4 逻辑运算)
- 5.3.5其他内置变量的用法FS（输入）、OFS、NR、FNR、RS、ORS
- [5.4 awk高级用法 if语句](#5.4 awk高级用法 if语句)
- [5.5 BEGIN END 流程](#5.5 BEGIN END 流程)
总结

前言

awk 是一种文本处理编程语言，诞生于 1977 年，由贝尔实验室的 Alfred Aho、Peter Weinberger 和 Brian Kernighan 共同设计（名称取自三人姓氏首字母）。它最初用于处理 Unix 系统中的文本数据，如今已成为 Linux/UNIX 环境下数据提取、分析和报告生成的核心工具之一。

awk 的核心设计理念是："按行处理文本，按字段分割数据"。它无需编译，直接解释执行，支持模式匹配、条件判断、循环、内置函数等编程语言特性，尤其擅长处理结构化文本（如日志文件、配置文件、CSV 数据等）。

与 grep（仅匹配文本）、sed（仅流式编辑）相比，awk 更侧重于数据的提取和加工，可以轻松实现 "筛选行 → 提取字段 → 计算 / 格式化 → 输出结果" 的完整流程，是 Shell 脚本中不可或缺的 "数据处理瑞士军刀"

一、概述

1.1 什么是 AWK？

aWK 是一种处理文本文件的语言，是一个强大的文本分析工具。被设计用于对文本数据进行扫描、过滤、统计和格式化输出。

按行处理文本、提取结构化数据、实现数据转换与分析（输出内容行）

1.2 应用场景

日志分析

数据提取与转换

报表生成

系统监控脚本

二、工作原理

2.1 逐行处理机制

awk 逐行读取输入文本，默认以空格或制表符(Tab)作为字段分隔符，将每行分割成多个字段，并存储到内置变量中。用户可定义模式或条件，对匹配的行执行相应操作。

处理流程如下：

1.读取第一行数据

2.检查是否匹配条件

3.若匹配则执行指定动作

4.继续处理下一行数据

5.默认不自动输出结果

若未定义匹配条件，则默认处理所有行。由于awk内置循环机制，条件匹配次数与动作执行次数完全对应。

2.2 awk 与 sed 的区别

sed 主要用于整行处理；

awk 更倾向于将行拆分为字段后再进行处理，支持更复杂的字段级操作。

awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。

在使用awk命令的过程中,可以使用逻辑操作符&&表示"与"、||表示"或"、!表示"非"；

还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方

sed 最适合做一些简单、直接的文本替换和清理工作。
awk 更适合处理结构化数据，需要提取特定字段或进行计算的场景。

三、基本语法与命令格式

3.1 命令格式

css 复制代码

awk [options] 'BEGIN{ print "start" } 'pattern{ commands }' END{ print "end"}' file 
#其中：BEGIN END 是 AWK 的关键字部，因此必须大写；这两个部分开始块和结束块是可选的

或者：
awk -f 脚本文件 文件1 文件2 ...

3.2 常用选项

-F：指定字段分隔符；

-v：定义变量；
-f：指定 AWK 脚本文件。

四、内置变量

awk 包含几个特殊的内建变量（可直接用）如下所示

变量名说明

FS 输入字段分隔符，默认为空格或制表符

OFS 输出字段分隔符，默认为空格

NF 当前处理的行的字段个数 NF：列的个数

NR 当前处理的行的行号（序数）

FNR 当前文件中的行号（多文件处理时重置）

$0 当前行的完整内容

$n 当前行的第 n 个字段

FILENAME 当前处理的文件名

RS 输入行分隔符，默认为换行符

ORS 输出行分隔符，默认为换行符

五、常用操作示例

5.1 打印整行或指定字段

#awk '{print "hello"}' < /etc/passwd

#awk '{print $1,$ 2}' zz1 //逗号有空格效果

---[root@localhost ~]# awk -F: '{print $1"\\t"$ 2}' /etc/passwd //用制表符作为分隔符输出