Hadoop——分布式计算MapReduce和资源调度Yarn

A尘埃2023-12-04 5:01

分布式计算

MapReduce

YARN架构

YARN集群部署

一、Hadoop安装目录下/etc/hadoop修改mapred-env配置文件，mapred-site.xml文件

二、etc/hadoop文件内，修改yarn-env.sh，yarn-site.xml

三、将配置好的文件分发到其他服务节点

bash 复制代码

start-dfs.sh

四、进程启动命令

通过jps命令查看

五、通过浏览器查看

切换到root，init 0进行关机，设定快照

提交MapReduce任务到Yarn

①、提交wordcount单词计数

Ⅰ：准备一个words.txt文件，并上传到HDFS中

bash 复制代码

vim words.txt 
hadoop fs -mkdir -p /input
hadoop fs -mkdir /output

hadoop fs -put words.txt /input/

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input/ hdfs://node1:8020/output/wc  # 确保输出文件夹不存在

查看输出结果

②、圆周率

bash 复制代码

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000