6.0 MapReduce 使用

6.0 MapReduce 使用

分类 编程

在学习了之前的 MapReduce 概念之后,我们应该已经知道什么是 Map 和 Reduce,并了解了他们的工作方式。

本章将学习如何使用 MapReduce。

Word Count

Word Count 就是"词语统计",这是 MapReduce 工作程序中最经典的一种。它的主要任务是对一个文本文件中的词语作归纳统计,统计出每个出现过的词语一共出现的次数。

Hadoop 中包含了许多经典的 MapReduce 示例程序,其中就包含 Word Count。

**注意:**这个案例在 HDFS 不运行的状态下依然可以运行,所以我们先在单机模式下测试

首先,启动一个之前制作的 hadoop_proto 镜像的新容器:

复制代码
docker run -d --name=word_count hadoop_proto

进入容器:

复制代码
docker exec -it word_count bash

进入 HOME 目录:

复制代码
cd ~

现在我们准备一份文本文件 input.txt:

复制代码
I love runoob
I like runoob
I love hadoop
I like hadoop

将以上内容用文本编辑器保存。

执行 MapReduce:

复制代码
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar wordcount input.txt output

解释一下含义:

hadoop jar从 jar 文件执行 MapReduce 任务,之后跟着的是示例程序包的路径。

wordcount表示执行示例程序包中的 Word Count 程序,之后跟这两个参数,第一个是输入文件,第二个是输出结果的目录名(因为输出结果是多个文件)。

执行之后,应该会输出一个文件夹 output,在这个文件夹里有两个文件:_SUCCESS 和 part-r-00000。

其中 _SUCCESS 只是用于表达执行成功的空文件,part-r-00000 则是处理结果,当我们显示一下它的内容:

复制代码
cat ~/output/part-r-00000

你应该可以看到如下信息:

复制代码
I       4
hadoop  2
like    2
love    2
runoob  2

集群模式

现在我们在集群模式下运行 MapReduce。

启动在上一章配置好的集群容器:

复制代码
docker start nn dn1 dn2

进入 NameNode 容器:

复制代码
docker exec -it nn su hadoop

进入 HOME:

复制代码
cd ~

编辑 input.txt:

复制代码
I love runoob
I like runoob
I love hadoop
I like hadoop

启动 HDFS:

复制代码
start-dfs.sh

创建目录:

复制代码
hadoop fs -mkdir /wordcount
hadoop fs -mkdir /wordcount/input

上传 input.txt

复制代码
hadoop fs -put input.txt /wordcount/input/

执行 Word Count:

复制代码
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar wordcount /wordcount/input /wordcount/output

查看执行结果:

复制代码
hadoop fs -cat /wordcount/output/part-r-00000

如果一切正常,将会显示以下结果:

复制代码
I       4
hadoop  2
like    2
love    2
runoob  2
相关推荐
fanstuck7 小时前
基于大模型的个性化推荐系统实现探索与应用
大数据·人工智能·语言模型·数据挖掘
IT学长编程8 小时前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
lwprain9 小时前
龙蜥8.10中spark各种集群及单机模式的搭建spark3.5.6(基于hadoop3.3.6集群)
大数据·ajax·spark
电商软件开发 小银10 小时前
本地生活服务平台创新模式观察:积分体系如何重塑消费生态?
大数据·人工智能·数字化转型·私域运营·消费者心理学
chenglin01610 小时前
TOGAF——ArchiMate
大数据
扬帆起航1310 小时前
亚马逊新品推广破局指南:从手动试错到智能闭环的系统化路径
大数据·数据库·人工智能
Elastic 中国社区官方博客10 小时前
使用 LangExtract 和 Elasticsearch
大数据·人工智能·elasticsearch·搜索引擎·ai·信息可视化·全文检索
Leinwin11 小时前
OpenAI已正式开放ChatGPT Projects
大数据·人工智能·microsoft·copilot·azure
潘达斯奈基~12 小时前
Google AI Studio使用1:创建Flink测试题APP
大数据·flink·aigc
华略创新12 小时前
合理安排时间节点,避免影响正常生产——制造企业软件系统上线的关键考量
大数据·制造·crm·管理系统·企业管理软件