基于Hadoop MapReduce的WordCount任务实现与部署

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1、创建/wordcount/input目录

2、将word.txt上传到/wordcount/input目录下

3、编写Maven文件,包含类WordCountCombiner、WordCountDriver、WordCountMapper、WordCountReducer

4、禁止test操作、点击clean后点击package进行打包,生成jar包

5、利用mobaXterm把生成的HadoopDemo-1.0-SNAPSHOT.jar文件上传到hadoop1

6、在hadoop1结点执行

hadoop jar HadoopDemo-1.0-SNAPSHOT.jar cn.itcast.hadoop.mr.WordCountDriver /wordcount/input /wordcount/output

7、打开浏览器,系统自动生成/wordcount/output文件夹

相关推荐
zhixingheyi_tian13 小时前
Hadoop 之 ENV
大数据·hadoop·分布式
小鹿学程序13 小时前
任务一- 2.子任务二:Hadoop完全分布式安装配置
大数据·hadoop·分布式
yumgpkpm1 天前
Iceberg在Hadoop集群使用步骤(适配AI大模型)
大数据·hadoop·分布式·华为·zookeeper·开源·cloudera
清平乐的技术专栏1 天前
Hive SQL中COALESCE 函数和NVL()函数、IFNULL函数区别
hive·hadoop·sql
爱吃大芒果1 天前
Flutter 列表优化:ListView 性能调优与复杂列表实现
开发语言·hive·hadoop·flutter·华为
Yore Yuen1 天前
Hive内表修改字段类型及注意事项
数据仓库·hive·hadoop
梦里不知身是客111 天前
yarn向hive提交队列的方式
数据仓库·hive·hadoop
Direction_Wind2 天前
Iceberg 与 Hive 用法区别
数据仓库·hive·hadoop
fvafuc2 天前
常用odps(hive)语法
数据仓库·hive·hadoop
爱吃大芒果2 天前
Flutter 本地存储方案:SharedPreferences、SQFlite 与 Hive
开发语言·javascript·hive·hadoop·flutter·华为·harmonyos