基于Hadoop MapReduce的WordCount任务实现与部署

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1、创建/wordcount/input目录

2、将word.txt上传到/wordcount/input目录下

3、编写Maven文件,包含类WordCountCombiner、WordCountDriver、WordCountMapper、WordCountReducer

4、禁止test操作、点击clean后点击package进行打包,生成jar包

5、利用mobaXterm把生成的HadoopDemo-1.0-SNAPSHOT.jar文件上传到hadoop1

6、在hadoop1结点执行

hadoop jar HadoopDemo-1.0-SNAPSHOT.jar cn.itcast.hadoop.mr.WordCountDriver /wordcount/input /wordcount/output

7、打开浏览器,系统自动生成/wordcount/output文件夹

相关推荐
螺蛳粉 螺蛳粉17 小时前
大数据第四篇:事故复盘:移走 HBase 里 27 个 hadoop-2.10.2 jar 后,HMaster 半小时后“自杀“了【jar 事故复盘】
jvm·hadoop·hbase·异常处理·大数据运维·踩坑记录·事故复盘
Francek Chen2 天前
【大数据处理与分析】数据仓库Hive:08 Impala
数据仓库·hive·hadoop·数据分析·impala
ha_lydms2 天前
Window Functions(窗口函数)
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
ha_lydms3 天前
Xml Functions(XML 函数)
xml·大数据·hadoop·spark·数据处理·dataworks·maxcompute
ha_lydms3 天前
Vector Functions(向量函数)
大数据·hadoop·spark·数据处理·dataworks·maxcompute·数据中台
ha_lydms3 天前
阿里云大数据组件
大数据·hadoop·阿里云·spark·云计算·数据处理·dataworks
ruxshui4 天前
Hadoop 生产运维实战手册
大数据·运维·hadoop
泡干脆面就番茄4 天前
Hive窗口函数:从原理到三大面试题
大数据·数据仓库·hive·hadoop
程序员梅雨4 天前
Hive面试总结
hive·hadoop·面试
ha_lydms6 天前
Datetime Functions(日期时间函数)
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute