十四、运行经典案例 wordcount

1、新建一个文本

  • 执行命令:
bash 复制代码
vim wordcount.txt
  • 输入以下内容:
bash 复制代码
Hello Hadoop
Bye Hadoop

2、上传文本到 HDFS

  • 在正式上传前,要先开启服务啊(已开启的可以忽略):
bash 复制代码
start-all.sh
  • 在 HDFS 文件系统中新建一个 input 目录:
bash 复制代码
hdfs dfs -mkdir /input
  • 确认 input 目录是否创建成功:
bash 复制代码
hdfs dfs -ls /
  • 上传 wordcount.txt 文件到 input 目录:
bash 复制代码
hdfs dfs -put wordcount.txt /input
  • 确认文件是否上传成功:
bash 复制代码
hdfs dfs -ls /input

3、运行 wordcount

进入 Hadoop 自带的经典案例目录:

bash 复制代码
cd /opt/module/hadoop-3.2.1/share/hadoop/mapreduce

执行 wordcount 并将结果输出值 output 目录:

bash 复制代码
hadoop jar hadoop-mapreduce-examples-3.2.1.jar wordcount /input /output

这条命令是在 Hadoop 环境中运行 MapReduce 示例程序中的 "词频统计(wordcount)" 任务,各部分含义如下:

  • hadoop: HADOOP_HOME/bin 下的 shell 脚本

  • jar: Hadoop 脚本需要的命令参数

  • hadoop jar:Hadoop 提供的用于运行 JAR 包中 MapReduce 程序的命令。

  • hadoop-mapreduce-examples-3.2.1.jar:Hadoop 自带的 MapReduce 示例程序 JAR 包(版本号 3.2.1,需与实际 Hadoop 版本对应),其中包含了 wordcount 等经典示例。

  • wordcount:指定要运行的示例程序类名,这里即词频统计程序,作用是统计输入文本中每个单词出现的次数。

  • /input:HDFS 上的输入目录路径,该目录下存放待统计的文本文件(需提前通过hdfs dfs -put等命令上传)。

  • /output:HDFS 上的输出目录路径,程序运行成功后,统计结果会写入该目录(注意:该目录必须是不存在的,否则会报错,需提前删除或更换名称)。

执行后,MapReduce 会自动完成 "映射(Map)" 和 "归约(Reduce)" 过程,最终在/output目录下生成结果文件(通常是part-r-00000),包含每个单词及其出现次数。

4、查看结果

查看运行结果所在的目录:

bash 复制代码
hdfs dfs -ls /output

查看 wordcount 运行结果:

bash 复制代码
hdfs dfs -cat /output/part-r-00000
相关推荐
bu_shuo18 分钟前
删除Windows资源管理器左侧【此电脑】的Linux企鹅图标
linux·windows
步行cgn18 分钟前
Spring MVC 删除功能:用隐藏表单模拟 DELETE 请求的完整解析
linux·运维·服务器
sun1536902757221 分钟前
金属超声波风速风向传感器原理、RS485 Modbus-RTU 采集与气象监测站集成方案
大数据
华为LTCITR专栏流程专家许浩明23 分钟前
ITR经验经典案例|服务ITR咨询|诚易达咨询公司许浩明团队辅导杰克科技服务ITR变革
大数据·人工智能·科技
涛思数据(TDengine)27 分钟前
支撑药企全球化合规:TDengine 发布中美欧三地监管对照白皮书
大数据·数据库·人工智能·ai·tdengine
棣廷41 分钟前
初识Hive(2)
数据仓库·hive·hadoop
宁波阿成1 小时前
CentOS 7 环境下 Tomcat 8.5 升级至 9.0.123 操作总结
linux·centos·tomcat
NineData1 小时前
NineData 社区版 V5.4.0 上线:715 条复制对比链路,AI Agent 新增表结构设计发布能力
大数据·数据库·人工智能·mysql·数据库管理工具·ninedata·数据库迁移工具
爱和冰阔落1 小时前
【Linux网络】UDP 服务器怎么写?从 socket、bind 到 recvfrom/sendto,手写完整回显服务器
linux·运维·服务器·网络