Linux下使用Shell处理文本时最常用的工具： find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk； 提供的例子和参数都是常用的； 我对shell脚本使用的原则是命令单行书写，尽量不要超过2行； 如果有更为复杂的任务需求，还是考虑python吧；
wc -l
cat file |grep -o word |wc -l 统计file文件中word这个关键字出现的个数 cat file |grep word |wc -l 统计file文件中word这个关键字出现的行数
AWK
awk 是一种脚本语言，用于处理或分析文本文件。或者我们可以说，awk 命令主要用于根据列或字段或一组列对数据进行分组，它主要用于以有用的方式报告数据，它还使用 Begin 和 End 块来处理数据。
备注: 在 awk 命令中 {print;} 用于打印所有字段及其值。
打印特定的字段
在 awk 命令中，我们使用 $ (美元) 符号后跟字段号来打印字段值。
我们只打印字段 2 和字段 3，使用选项 -F，指定逗号为字段分隔符
$ awk -F "," '{print $2, $3;}' awk_file
Marks Max Marks
200 1000
500 1000
1000
800 1000
600 1000
400 1000
打印与模式匹配的行
打印包含单词 Hari 或 Ram 的行，示例如下
$ awk '/Hari|Ram/' awk_file
Ram,200,1000
Hari,600,1000
Ram,400,1000
特定列中数据项的和
在 awk 命令中，也可以根据搜索执行一些算术操作，语法如下所示
$ awk -F, '$1=="Item1″{x+=$2;}END{print x}' awk_file
求一列中所有数字的总数
在 awk 命令中，我们还可以计算某一列中所有数字的和。在下面的例子中，我们正在计算第 2 列和第 3 列的所有数字的和。
$ awk -F"," '{x+=$2}END{print x}' awk_file
3500
$ awk -F"," '{x+=$3}END{print x}' awk_file
5000
分组求和
实现类似 SQL 中的按某个字段分组求和，示例如下：
$ awk -F, '{a[$1]+=$2;}END{for(i in a)print i", "a[i];}' awk_file
Abharam, 800
Hari, 600
Name, 0
Ghyansham, 1000
Ram, 600
Shyam, 500
sort 排序指令
以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序
比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
sort [选项] 参数
cat file | sort 选项
-n 按照数字进行排序
-r 反向排序
-u 等同于uniq，表示相同的数据仅显示一行
-t 指定字段分隔符，默认使用 [Tab]键分隔
-k 指定排序字段
-o <输出文件>:将排序后的结果转存至指定文件
-f 忽略大小写，会将小写字母都转换为大写字母来进行比较
-b 忽略每行前面的空格
#####按数字排序#####
sort -n num.txt #按照数字进行排序
#####UID排序#####
sort -t ':' -k 3 -n /etc/passwd
#也可以cut 方式 cat /etc/passwd | cut -d ':' -f 1,3
#指定字段分隔符 指定排序第三字段（UID） 按照数字进行排序
#####IP主机位排序#####
sort -t '.' -k 4 -n /opt/ip
#指定字段分隔符 指定排序第三字段（UID） 按照数字进行排序
#####统计文件夹大小#####
du -a | sort -nr -o du.txt
#输出文件大小 数字倒序排序 写入du.txt文件
uniq命令 操作重复行
用于报告或者忽略文件中连续的重复行，常与 sort 命令结合使用
unig [选项] 参数
cat file | uniq 选项
cat file | uniq -c #统计出现次数
cat /opt/ip | sort -n -t '.' -k4 | uniq -c
#cat输出文件内容 sort根据.分隔的第四段数字排序 再交给uniq -c统计出现的次数
2 192.168.80.10
1 192.168.80.75
1 192.168.80.100
1 192.168.80.120
2 192.168.80.200
3 192.168.80.245
cat /opt/ip | sort -n -t '.' -k4 | uniq -c | awk '{print $1}'
2
1
1 #awk筛选出次数
1
2
3
3. 文本处理 --- Linux Tools Quick Tutorial