Hadoop:单节点配置YARN

目录

[一、Hadoop YARN介绍](#一、Hadoop YARN介绍)

二、单节点配置YARN

[2.1 配置yarn-site.xml 文件](#2.1 配置yarn-site.xml 文件)

[2.2 配置 mapred-site.xml 文件](#2.2 配置 mapred-site.xml 文件)

[2.3 启动 Hadoop 和 YARN](#2.3 启动 Hadoop 和 YARN)

[2.4 浏览器访问](#2.4 浏览器访问)

三、YARN的常用命令

[3.1 启动和停止 YARN](#3.1 启动和停止 YARN)

[3.2 查看和管理应用程序](#3.2 查看和管理应用程序)

[3.3 查看和管理节点](#3.3 查看和管理节点)

[3.4 查看和管理队列](#3.4 查看和管理队列)

[3.5 查看和管理资源](#3.5 查看和管理资源)

[3.6 查看和管理应用](#3.6 查看和管理应用)


一、Hadoop YARN介绍

Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的资源管理层,负责管理和分配集群中应用程序的资源。在单节点上设置Hadoop YARN时,通常是为了开发或测试目的,因为单节点设置无法提供多节点集群所具有的容错性和可扩展性优势。

二、单节点配置YARN

参考Hadoop:单机伪分布式部署 部署单机版hadoop后,再按以下步骤配置单机版YARN。

2.1 配置yarn-site.xml 文件

XML 复制代码
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 需要指定webapp IP,否则单机版yarn,其他主机无法访问 -->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.179.141:8088</value>
    </property>
</configuration>

2.2 配置 mapred-site.xml 文件

XML 复制代码
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

2.3 启动 Hadoop 和 YARN

bash 复制代码
start-dfs.sh
start-yarn.sh

2.4 浏览器访问

三、YARN的常用命令

3.1 启动和停止 YARN

bash 复制代码
#### 启动 YARN
start-yarn.sh

#### 停止 YARN
stop-yarn.sh

3.2 查看和管理应用程序

bash 复制代码
#### 列出所有正在运行的应用程序
yarn application -list

#### 查看特定应用程序的详细信息
yarn application -status <application-id>

#### 杀死一个应用程序
yarn application -kill <application-id>

#### 查看应用程序的日志
yarn logs -applicationId <application-id>

3.3 查看和管理节点

bash 复制代码
#### 列出所有节点的信息
yarn node -list

#### 查看特定节点的详细信息
yarn node -status <node-id>

3.4 查看和管理队列

bash 复制代码
#### 列出所有队列的信息
yarn queue -list all

#### 查看特定队列的详细信息
yarn queue -info <queue-name>

3.5 查看和管理资源

bash 复制代码
#### 查看集群资源的使用情况
yarn top

#### 查看特定应用程序的资源使用情况
yarn application -status <application-id>

3.6 查看和管理应用

bash 复制代码
#### 提交一个 MapReduce 作业
hadoop jar <path-to-jar> <main-class> <input-path> <output-path>

#### 提交一个通用 YARN 应用程序
yarn jar <path-to-jar> <main-class> <arguments>

#### 列出所有正在运行的应用程序
yarn application -list

#### 查看特定应用程序的详细信息
yarn application -status <application-id>

#### 杀死一个应用程序
yarn application -kill <application-id>

#### 查看应用程序的日志
yarn logs -applicationId <application-id>
相关推荐
bigdata-余建新4 小时前
HDFS和HBase跨集群数据迁移 源码
hadoop·hdfs·hbase
Mephisto.java4 小时前
【大数据学习 | kafka高级部分】文件清除原理
大数据·hadoop·zookeeper·spark·kafka·hbase·flume
大数据魔法师7 小时前
Hadoop生态圈框架部署(五)- Zookeeper完全分布式部署
hadoop·分布式·zookeeper
数据要素X19 小时前
【数据仓库】Hive 拉链表实践
大数据·数据库·数据仓库·人工智能·hive·hadoop·安全
Francek Chen1 天前
【大数据技术基础 | 实验八】HBase实验:新建HBase表
大数据·数据库·hadoop·分布式·zookeeper·hbase
B站计算机毕业设计超人1 天前
计算机毕业设计Hadoop+大模型地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
大数据·hadoop·爬虫·深度学习·机器学习·数据分析·课程设计
新知图书1 天前
Hadoop完全分布式环境搭建步骤
大数据·hadoop·分布式
LiamTuc1 天前
远程访问,通过JDBC连接到Beeline对Hive进行操作报错
数据仓库·hive·hadoop
我的K84092 天前
Hive中自定义函数的使用
数据仓库·hive·hadoop