测试集群的功能-执行wordcount程序

具体的操作步骤如下:

  1. 确保hadoop是正确运行的。hdfs和yarn都正常启动了。
  2. 在集群根目录下创建wcinput目录,并在它的下面上传两个文本文件word1.txt, word2.txt,其中保存了要测试的单词信息。
  3. 在任意一台设备中,进入到hadoop的主目录。cd /opt/modele/hadoop-3.1.3
  4. 运行如下命令:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output

  1. 在如下网站查看运行的过程和记录http://hadoop101:8088/cluster
相关推荐
Leo.yuan1 小时前
API是什么意思?如何实现开放API?
大数据·运维·数据仓库·人工智能·信息可视化
禺垣2 小时前
知识图谱技术概述
大数据·人工智能·深度学习·知识图谱
后端码匠2 小时前
Spark 单机模式部署与启动
大数据·分布式·spark
疯狂的沙粒4 小时前
如何通过git命令查看项目连接的仓库地址?
大数据·git·elasticsearch
随缘而动,随遇而安4 小时前
第七十四篇 高并发场景下的Java并发容器:用生活案例讲透技术原理
java·大数据·后端
凯禾瑞华实训室建设4 小时前
老年生活照护实训室建设规划:照护质量评估与持续改进实训体系
大数据·人工智能·物联网·ar·vr
静听山水4 小时前
DTS 数据迁移
大数据
科技资讯快报4 小时前
告别Prompt依赖,容联云让智能体嵌入金融业务流
大数据·人工智能·prompt
weixin_贾5 小时前
不确定性分析在LEAP能源-环境系统建模中的整合与应用
大数据·新能源·储能·碳中和·温室气体·leap模型
qq_463944865 小时前
【Spark征服之路-2.3-Spark运行架构】
大数据·架构·spark