使用awk进行wordcount
被处理数据在文件access_2024-1-21.log(一个单词一行)中,内容如下:
word
coutn
wm
sapce
US
china
WORD
WORD
wode
wode
1
2
3333
zzzz
space
spaceX
china
word
执行如下命令可以统计出每个单词出现次数:
```bash
awk '{S[$1]++}END{for(k in S) print S[k],k}' access_2024-1-21.log
结果如下:
[root@Oler wm]# awk '{S[$1]++}END{for(k in S) print S[k],k}' access_2024-1-21.log
1 spaceX
1 3333
1 zzzz
1 sapce
1 coutn
1 wm
1 space
1 1
1 2
2 china
2 wode
2 WORD
1 US
2 word
命令解释:
此处的S变量表示一个数组,该数组的索引为每个不重复的单词,值就是S[$1],$1代表单词那一列。awk是每都一行执行一次动作。 此处就是每读一行,同一个key对应的值就增加一。从0开始计算。当统计完,最后,也就是END对应的内容,就是循环打印出存储了统计结果的数组的key和值。