使用awk进行wordcount
被处理数据在文件access_2024-1-21.log(一个单词一行)中,内容如下:
word
coutn
wm
sapce
US
china
WORD
WORD
wode
wode
1
2
3333
zzzz
space
spaceX
china
word
执行如下命令可以统计出每个单词出现次数:
```bash
awk '{S[$1]++}END{for(k in S) print S[k],k}' access_2024-1-21.log
结果如下:
root@Oler wm\]# awk '{S\[$1\]++}END{for(k in S) print S\[k\],k}' access_2024-1-21.log 1 spaceX 1 3333 1 zzzz 1 sapce 1 coutn 1 wm 1 space 1 1 1 2 2 china 2 wode 2 WORD 1 US 2 word 命令解释: 此处的S变量表示一个数组,该数组的索引为每个不重复的单词,值就是S\[$1\],$1代表单词那一列。awk是每都一行执行一次动作。 此处就是每读一行,同一个key对应的值就增加一。从0开始计算。当统计完,最后,也就是END对应的内容,就是循环打印出存储了统计结果的数组的key和值。