awk做wordcount

qq_246999052024-01-25 12:42

使用awk进行wordcount

被处理数据在文件access_2024-1-21.log（一个单词一行）中，内容如下：

复制代码

word
coutn
wm
sapce
US
china
WORD
WORD
wode
wode
1
2
3333
zzzz
space
spaceX
china
word

执行如下命令可以统计出每个单词出现次数：

复制代码

```bash
 awk '{S[$1]++}END{for(k in S) print S[k],k}' access_2024-1-21.log

结果如下：

$root@Oler wm$ # awk '{S $$1$ ++}END{for(k in S) print S $k$ ,k}' access_2024-1-21.log

1 spaceX

1 3333

1 zzzz

1 sapce

1 coutn

1 wm

1 space

1 1

1 2

2 china

2 wode

2 WORD

1 US

2 word

命令解释：

此处的S变量表示一个数组，该数组的索引为每个不重复的单词，值就是S $$1$ ，$1代表单词那一列。awk是每都一行执行一次动作。此处就是每读一行，同一个key对应的值就增加一。从0开始计算。当统计完，最后,也就是END对应的内容，就是循环打印出存储了统计结果的数组的key和值。