基于Hadoop MapReduce的WordCount任务实现与部署

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1、创建/wordcount/input目录

2、将word.txt上传到/wordcount/input目录下

3、编写Maven文件,包含类WordCountCombiner、WordCountDriver、WordCountMapper、WordCountReducer

4、禁止test操作、点击clean后点击package进行打包,生成jar包

5、利用mobaXterm把生成的HadoopDemo-1.0-SNAPSHOT.jar文件上传到hadoop1

6、在hadoop1结点执行

hadoop jar HadoopDemo-1.0-SNAPSHOT.jar cn.itcast.hadoop.mr.WordCountDriver /wordcount/input /wordcount/output

7、打开浏览器,系统自动生成/wordcount/output文件夹

相关推荐
隐于花海,等待花开5 小时前
40.RAND 函数深度解析
hive·hadoop
隐于花海,等待花开1 天前
39.ROUND / FLOOR / CEIL 函数深度解析
hive·hadoop
坚持就完事了2 天前
YARN资源管理器
大数据·linux·hadoop·学习
渣渣盟2 天前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
WL_Aurora2 天前
Hadoop 通过 Web 界面上传文件到 HDFS 失败解决方案
hadoop·hdfs
ClouderaHadoop3 天前
CDH 最隐蔽的坑:NTP 时间同步导致的 5 类故障
hadoop·hbase·kerberos·cloudera·cdh
Gent_倪3 天前
Hadoop生态组件介绍
大数据·hadoop
YaBingSec3 天前
玄机网络安全靶场:Hadoop YARN ResourceManager 未授权 RCE WP
大数据·数据库·hadoop·redis·笔记·分布式·web安全
曹牧4 天前
Java Web 开发:servlet-mapping‌
java·数据仓库·hive·hadoop
菜鸟小码5 天前
HDFS 数据块(Block)机制深度解析:从原理到实战
大数据·hadoop·hdfs