基于Hadoop MapReduce的WordCount任务实现与部署

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1、创建/wordcount/input目录

2、将word.txt上传到/wordcount/input目录下

3、编写Maven文件,包含类WordCountCombiner、WordCountDriver、WordCountMapper、WordCountReducer

4、禁止test操作、点击clean后点击package进行打包,生成jar包

5、利用mobaXterm把生成的HadoopDemo-1.0-SNAPSHOT.jar文件上传到hadoop1

6、在hadoop1结点执行

hadoop jar HadoopDemo-1.0-SNAPSHOT.jar cn.itcast.hadoop.mr.WordCountDriver /wordcount/input /wordcount/output

7、打开浏览器,系统自动生成/wordcount/output文件夹

相关推荐
火龙谷2 小时前
【hadoop】Davinci数据可视化工具的安装部署
大数据·hadoop·分布式
£菜鸟也有梦2 小时前
从0到1,带你走进Flink的世界
大数据·hadoop·flink·spark
隰有游龙10 小时前
hadoop集群启动没有datanode解决
大数据·hadoop·分布式
伍六星21 小时前
图片上传问题解决方案与实践
大数据·hive·hadoop
后端码匠21 小时前
Kafka 单机部署启动教程(适用于 Spark + Hadoop 环境)
hadoop·spark·kafka
TCChzp1 天前
Kafka入门-集群基础环境搭建(JDK/Hadoop 部署 + 虚拟机配置 + SSH 免密+Kafka安装启动)
java·hadoop·kafka
丸卜2 天前
Hadoop复习(九)
大数据·hadoop·分布式
xx155802862xx2 天前
hive聚合函数多行合并
数据仓库·hive·hadoop
北漂老男孩2 天前
Hadoop HDFS 体系结构与文件读写流程剖析
大数据·hadoop·hdfs·学习方法
安审若无2 天前
Hive的存储格式如何优化?
数据仓库·hive·hadoop