Hadoop复习(二)

部署Hadoop

考试不考部署,就复习选择和大题

问题 1 单项选择

2 / 2 分

下面哪个是MapReduce的核心配置文件

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

问题 2 单项选择

2 / 2 分

下面哪个是HDFS的核心配置文件

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

问题 3 单项选择

2 / 2 分

下面哪一个不属于Hadoop的部署模式

单机模式

JVM模式

伪分布式模式

完全分布式模式

问题 4 多项选择

2 / 2 分

启动YARN进程后我们可以看到哪些进程?

NameNode

DataNode

SecordaryNameNode

ResourceManager

NodeManager

问题 5 单项选择

2 / 2 分

HDFS URI我们可以从下面哪个配置文件中查看到

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

问题 6 多项选择

2 / 2 分

启动HDFS进程后我们可以看到哪些进程?

NameNode

DataNode

SecondaryNameNode

ResourceManager

NodeManager

问题 7 单项选择

2 / 2 分

启动HDFS进程的命令是哪个?

start-dfs.sh

start-yarn.sh

stop-dfs.sh

stop-yarn.sh

问题 8 单项选择

2 / 2 分

关闭HDFS进程的命令是哪个?

start-dfs.sh

start-yarn.sh

stop-dfs.sh

stop-yarn.sh

问题 9 单项选择

2 / 2 分

关闭YARN进程的命令是哪个?

start-dfs.sh

start-yarn.sh

stop-dfs.sh

stop-yarn.sh

问题 10 单项选择

2 / 2 分

启动YARN进程的命令是哪个?

start-dfs.sh

start-yarn.sh

stop-dfs.sh

stop-yarn.sh

问题 11 单项选择

2 / 2 分

下面哪个是Hadoop的核心配置文件

正确!

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

问题 12 单项选择

2 / 2 分

下面哪个是YARN的核心配置文件

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

简要说明Hadoop的三种模式

独立模式:独立模式是一种在单台计算机的单个JVM进程中模拟Hadoop集群的工作模式,该模式部署的Hadoop集群实际上并不属于分布式文件系统,而是直接读写本地操作系统的文件系统,此模式部署的Hadoop通常用于快速安装并体验Hadoop的功能,并不适用于实际生产环境

伪分布式:伪分布式模式是一种在单台计算机的不同JVM进程中运行Hadoop集群的工作模式,该模式部署的Hadoop集群实际上是一个为分布式系统,因为Hadoop集群的所以守护进程都运行在一台计算机中,并不能体现出分布式的特点,所以伪分布式模式部署的Hadoop通常用于开发环境中进行测试和调试,并不适用于实际生产环境。

完全分布式:完全分布式模式是一种在多台计算机的JVM进程中运行Hadoop集群的工作模式,该模式部署的Hadoop集群属于分布式系统,因为Hadoop集群的每个守护进程都运行在不同的计算机中,所以完全分布式模式部署的Hadoop通常可作为实际生产环境

词频统计

Hadoop格式化
hadoop namenode -format

启动Hadoop
start-all.sh

创建文件word.txt,内容如下:
Hello world
Hello Hadoop
Bye worldBye Hadoop

上传至HDFS的根目录下
hdfs dfs -put word.txt /

统计词频
cd /opt/hadoop/share/hadoop/mapreducehadoop jar hadoop-mapreduce-examples-3.3.5.jar wordcount /word.txt /out

查看结果目录
hdfs dfs -ls /out

这时可看到两个文件,分别是SUCCESS和part-r-00000

统计结果文件即是part-r-00000

查看结果
hdfs dfs -cat /out/part-r-80080

相关推荐
鱼宵6 分钟前
LangChain4j RAG 流水线:手写问答全流程,给 AI 开卷考试
大数据·人工智能·机器学习·langchain4j
蝶依斓(湖南)全案整装15 分钟前
整装企业环保健康交付内容写作方法:空气健康、环保材料与检测标准的非空泛表达
大数据·人工智能
计算机编程指导师21 分钟前
【大数据毕设】基于Hadoop+Django乳腺癌数据分析与可视化系统选题推荐 源码 毕业设计 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·毕业设计·课程设计·乳腺癌
计算机编程指导师35 分钟前
Python毕设怎么做?基于hadoop的商家优惠券营销效果数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·优惠券
吴声子夜歌38 分钟前
Docker入门与实战——实战案例(分布式处理与大数据平台)
大数据·分布式·docker
bksczm38 分钟前
Redis基础篇之初识分布式
数据库·redis·分布式
计算机编程指导师39 分钟前
【Python毕设推荐】基于Hadoop+Spark的商场商铺运行数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·课程设计·商场商铺
Leo.yuan9 小时前
2026年实时数据同步工具怎么选?GoldenGate、Striim、SeaTunnel、FineDataLink 5.0横评
大数据
sm_926787059 小时前
RFID 标签打印的技术实现要点与二次开发实践
java·大数据·前端·c++·编辑器
龙亘川9 小时前
AI 协同赋能城市治理:支撑政协数字化履职的技术路径探析
大数据·人工智能·智慧城市·开源软件·数据可视化