MapReduce经典案例-词频统计。

已知有如下格式的日志文件,请统计每天的error次数。

2022-03-01 error:no boot disk has been detected

2022-03-01 warning:hardware failure detected

2022-03-01 error:flash download failed

2022-03-02 error:1d returned 1exit status

2022-03-05 error:expected expression

2022-03-05 warning:the high memory area

1.本地模式

(1)自定义mapper组件,map()方法指定的处理逻辑为:首先将每个键值对中的值转换为String类型,即获取数据块的每行数据;然后根据分隔符空格将每行数据拆分为多个单词,并将这些单词存放到数组;最后遍历数组以获取每个单词,将每个单词与值1组合成新的键值对<单词,1>,并输出到Reduce Task. 代码如下:

(2)自定义reducer组件,使用reducer组件处理数据,对mapper自建输出到reducer组件的数据进行处理,将相同对应的值累加,从而统计每个单词的出现次数,具体代码如下:

(3)编写驱动类,具体代码如下:

(4)运行结果:

2.集群模式

(1)mapper组件和reducer组件的定义和本地模式一样。

(2)驱动类需要将local改为yarn,文件的路径改为args0和args1,代码如下:

(3)双击package将本项目打包成jar文件。

(4)将jar文件重命名:

(5)使用start-all.sh命令开启集群:

(6)使用rz命令上传jar文件:

(7)在HDFS上创建input文件夹:

(8)编写txt文件,并将该文件上传到HDFS上的/input目录下:

(9)在jar文件所在目录执行如下命令,将MapReduce程序提交到YARN集群运行:

(10)运行结果:

相关推荐
tqs_1234512 分钟前
MySQL RR隔离级别死锁|Gap间隙锁、临键锁,订单并发范围查询死锁根因方案
java
逆境不可逃28 分钟前
Pi Agent 学习笔记:多个工具怎样并行执行
java
浪子明X33 分钟前
十六位账本怎样发现传输差错:Internet Checksum 生活类比
开发语言
Flynt1 小时前
Java 27 升级实测:默认值动得比新特性多,有个老参数会让 JVM 直接起不来
java·jvm·后端
Bs_MoneyMagnet1 小时前
基于springboot+vue的个人健康管理系统的设计与实现 源码+文档
java·vue.js·spring boot·后端·vue3·springboot3·计算机毕业设计
星云API技术支持2 小时前
企业微信二次开发:群权限设置、成员管理与群资料维护的接口组合实践
java·前端·企业微信
niucloud-admin2 小时前
JAVA V6 多商户商城 开发文档——job 计划任务开发
java·python·github
海宇AI3 小时前
零信任架构实战:基于海宇柠檬查出险-登记证构建自动化车抵贷核保网关
java·人工智能·架构·自动化
xiangyun613 小时前
【408数据结构 08】队列:循环队列判空判满,408年年考,一次讲清
c语言·开发语言·数据结构·c++·算法
xiangyun613 小时前
【408数据结构 06】双链表、循环链表、静态链表
c语言·开发语言·数据结构·c++·算法