MapReduce经典案例-词频统计。

已知有如下格式的日志文件,请统计每天的error次数。

2022-03-01 error:no boot disk has been detected

2022-03-01 warning:hardware failure detected

2022-03-01 error:flash download failed

2022-03-02 error:1d returned 1exit status

2022-03-05 error:expected expression

2022-03-05 warning:the high memory area

1.本地模式

(1)自定义mapper组件,map()方法指定的处理逻辑为:首先将每个键值对中的值转换为String类型,即获取数据块的每行数据;然后根据分隔符空格将每行数据拆分为多个单词,并将这些单词存放到数组;最后遍历数组以获取每个单词,将每个单词与值1组合成新的键值对<单词,1>,并输出到Reduce Task. 代码如下:

(2)自定义reducer组件,使用reducer组件处理数据,对mapper自建输出到reducer组件的数据进行处理,将相同对应的值累加,从而统计每个单词的出现次数,具体代码如下:

(3)编写驱动类,具体代码如下:

(4)运行结果:

2.集群模式

(1)mapper组件和reducer组件的定义和本地模式一样。

(2)驱动类需要将local改为yarn,文件的路径改为args0和args1,代码如下:

(3)双击package将本项目打包成jar文件。

(4)将jar文件重命名:

(5)使用start-all.sh命令开启集群:

(6)使用rz命令上传jar文件:

(7)在HDFS上创建input文件夹:

(8)编写txt文件,并将该文件上传到HDFS上的/input目录下:

(9)在jar文件所在目录执行如下命令,将MapReduce程序提交到YARN集群运行:

(10)运行结果:

相关推荐
长谷深风1113 分钟前
好的 Tool Schema,不是字段越全越好
java·大数据·人工智能·ai agent·agent工作流·智能体设计·ai产品设计
IT 行者5 分钟前
用 HiddenHttpMethodFilter 解决浏览器不支持 PUT/DELETE/PATCH 的问题
java·spring
晚安code9 分钟前
Redis 内存淘汰策略实战:什么时候淘汰、怎么选、怎么防缓存击穿
java·redis·缓存
caimouse9 分钟前
ReactOS 窗口系统分析(13):滚动条 — scrollbar.c + scrollex.c
c语言·开发语言·reactos
Sagittarius_A*10 分钟前
【好靶场】PHP反序列化入门练习2
开发语言·web安全·信息安全·php·代码审计·反序列化
goyeer23 分钟前
Liunx日志管理与journalctl
java·linux·运维·服务器·运维开发·信息化·信息化企业管理
NoteStream25 分钟前
MATLAB绘制带置信区间的折线散点图(科研绘图模板)
开发语言·matlab
tianyu2342 小时前
Java 正则表达式终极指南:从 Pattern 到 Matcher,从双重转义到性能优化,一篇全搞定
java·开发语言·正则表达式·group·find·pattern·matcher
caimouse3 小时前
ReactOS 窗口系统分析(23):键盘 — keyboard.c + kbdlayout.c
c语言·开发语言·计算机外设
Emily156853598704 小时前
Emerson 1C31129G03 Analog Input Module
java·开发语言·前端·plc·emerson·1c31129g03·input module