测试集群的功能-执行wordcount程序

具体的操作步骤如下:

  1. 确保hadoop是正确运行的。hdfs和yarn都正常启动了。
  2. 在集群根目录下创建wcinput目录,并在它的下面上传两个文本文件word1.txt, word2.txt,其中保存了要测试的单词信息。
  3. 在任意一台设备中,进入到hadoop的主目录。cd /opt/modele/hadoop-3.1.3
  4. 运行如下命令:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output

  1. 在如下网站查看运行的过程和记录http://hadoop101:8088/cluster
相关推荐
lucky_syq22 分钟前
Flink窗口:解锁流计算的秘密武器
大数据·flink
gorgor在码农2 小时前
Elasticsearch 的聚合(Aggregations)操作详解
大数据·elasticsearch·搜索引擎
BigData共享2 小时前
StarRocks 使用 JNI 读取数据湖表引发的堆内存溢出分析
大数据
Aurora_NeAr4 小时前
大数据之路:阿里巴巴大数据实践——大数据领域建模综述
大数据·后端
黄雪超4 小时前
Kafka——消费者组消费进度监控都怎么实现?
大数据·分布式·kafka
虚伪的空想家6 小时前
记录es收集日志报错问题as the final mapping would have more than 1 type[XXX,doc]
大数据·elasticsearch·搜索引擎·容器·kubernetes·log-pilot
数据与人工智能律师15 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle18 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
weixin_lynhgworld19 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
RPA+AI十二工作室21 小时前
影刀RPA_Temu关键词取数_源码解读
大数据·自动化·源码·rpa·影刀