基于Hadoop MapReduce的WordCount任务实现与部署

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1、创建/wordcount/input目录

2、将word.txt上传到/wordcount/input目录下

3、编写Maven文件,包含类WordCountCombiner、WordCountDriver、WordCountMapper、WordCountReducer

4、禁止test操作、点击clean后点击package进行打包,生成jar包

5、利用mobaXterm把生成的HadoopDemo-1.0-SNAPSHOT.jar文件上传到hadoop1

6、在hadoop1结点执行

hadoop jar HadoopDemo-1.0-SNAPSHOT.jar cn.itcast.hadoop.mr.WordCountDriver /wordcount/input /wordcount/output

7、打开浏览器,系统自动生成/wordcount/output文件夹

相关推荐
STONE_KKK4 小时前
Hive详细讲解-概述与环境搭建
hive·hadoop·硬件架构
黄雪超2 天前
深入MapReduce——引入
大数据·hadoop·mapreduce
我要用代码向我喜欢的女孩表白2 天前
hedfs和hive数据迁移后校验脚本
数据仓库·hive·hadoop
Denodo2 天前
如何用数据编织、数据虚拟化与SQL-on-Hadoop打造实时、可扩展兼容的数据仓库?
大数据·数据仓库·hadoop·分布式·数据挖掘·数据分析·spark
m0_748240022 天前
基于Hadoop的汽车大数据分析系统设计与实现【爬虫、数据预处理、MapReduce、echarts、Flask】
hadoop·爬虫·汽车
黄雪超2 天前
深入MapReduce——计算模型设计
大数据·hadoop·mapreduce
怎么才能努力学习啊2 天前
Hive之加载csv格式数据到hive
数据仓库·hive·hadoop