Hadoop:单节点配置YARN

目录

[一、Hadoop YARN介绍](#一、Hadoop YARN介绍)

二、单节点配置YARN

[2.1 配置yarn-site.xml 文件](#2.1 配置yarn-site.xml 文件)

[2.2 配置 mapred-site.xml 文件](#2.2 配置 mapred-site.xml 文件)

[2.3 启动 Hadoop 和 YARN](#2.3 启动 Hadoop 和 YARN)

[2.4 浏览器访问](#2.4 浏览器访问)

三、YARN的常用命令

[3.1 启动和停止 YARN](#3.1 启动和停止 YARN)

[3.2 查看和管理应用程序](#3.2 查看和管理应用程序)

[3.3 查看和管理节点](#3.3 查看和管理节点)

[3.4 查看和管理队列](#3.4 查看和管理队列)

[3.5 查看和管理资源](#3.5 查看和管理资源)

[3.6 查看和管理应用](#3.6 查看和管理应用)


一、Hadoop YARN介绍

Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的资源管理层,负责管理和分配集群中应用程序的资源。在单节点上设置Hadoop YARN时,通常是为了开发或测试目的,因为单节点设置无法提供多节点集群所具有的容错性和可扩展性优势。

二、单节点配置YARN

参考Hadoop:单机伪分布式部署 部署单机版hadoop后,再按以下步骤配置单机版YARN。

2.1 配置yarn-site.xml 文件

XML 复制代码
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 需要指定webapp IP,否则单机版yarn,其他主机无法访问 -->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.179.141:8088</value>
    </property>
</configuration>

2.2 配置 mapred-site.xml 文件

XML 复制代码
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

2.3 启动 Hadoop 和 YARN

bash 复制代码
start-dfs.sh
start-yarn.sh

2.4 浏览器访问

三、YARN的常用命令

3.1 启动和停止 YARN

bash 复制代码
#### 启动 YARN
start-yarn.sh

#### 停止 YARN
stop-yarn.sh

3.2 查看和管理应用程序

bash 复制代码
#### 列出所有正在运行的应用程序
yarn application -list

#### 查看特定应用程序的详细信息
yarn application -status <application-id>

#### 杀死一个应用程序
yarn application -kill <application-id>

#### 查看应用程序的日志
yarn logs -applicationId <application-id>

3.3 查看和管理节点

bash 复制代码
#### 列出所有节点的信息
yarn node -list

#### 查看特定节点的详细信息
yarn node -status <node-id>

3.4 查看和管理队列

bash 复制代码
#### 列出所有队列的信息
yarn queue -list all

#### 查看特定队列的详细信息
yarn queue -info <queue-name>

3.5 查看和管理资源

bash 复制代码
#### 查看集群资源的使用情况
yarn top

#### 查看特定应用程序的资源使用情况
yarn application -status <application-id>

3.6 查看和管理应用

bash 复制代码
#### 提交一个 MapReduce 作业
hadoop jar <path-to-jar> <main-class> <input-path> <output-path>

#### 提交一个通用 YARN 应用程序
yarn jar <path-to-jar> <main-class> <arguments>

#### 列出所有正在运行的应用程序
yarn application -list

#### 查看特定应用程序的详细信息
yarn application -status <application-id>

#### 杀死一个应用程序
yarn application -kill <application-id>

#### 查看应用程序的日志
yarn logs -applicationId <application-id>
相关推荐
AI源码4 小时前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
演艺大赏2 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy19902 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏3 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏3 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Francek Chen14 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠17 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
Gl�ria18 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
FserSuN18 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习
测试盐19 天前
spark作业日志定位过程
java·hadoop·spark