Hadoop:单节点配置YARN

目录

[一、Hadoop YARN介绍](#一、Hadoop YARN介绍)

二、单节点配置YARN

[2.1 配置yarn-site.xml 文件](#2.1 配置yarn-site.xml 文件)

[2.2 配置 mapred-site.xml 文件](#2.2 配置 mapred-site.xml 文件)

[2.3 启动 Hadoop 和 YARN](#2.3 启动 Hadoop 和 YARN)

[2.4 浏览器访问](#2.4 浏览器访问)

三、YARN的常用命令

[3.1 启动和停止 YARN](#3.1 启动和停止 YARN)

[3.2 查看和管理应用程序](#3.2 查看和管理应用程序)

[3.3 查看和管理节点](#3.3 查看和管理节点)

[3.4 查看和管理队列](#3.4 查看和管理队列)

[3.5 查看和管理资源](#3.5 查看和管理资源)

[3.6 查看和管理应用](#3.6 查看和管理应用)


一、Hadoop YARN介绍

Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的资源管理层,负责管理和分配集群中应用程序的资源。在单节点上设置Hadoop YARN时,通常是为了开发或测试目的,因为单节点设置无法提供多节点集群所具有的容错性和可扩展性优势。

二、单节点配置YARN

参考Hadoop:单机伪分布式部署 部署单机版hadoop后,再按以下步骤配置单机版YARN。

2.1 配置yarn-site.xml 文件

XML 复制代码
<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 需要指定webapp IP,否则单机版yarn,其他主机无法访问 -->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.179.141:8088</value>
    </property>
</configuration>

2.2 配置 mapred-site.xml 文件

XML 复制代码
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

2.3 启动 Hadoop 和 YARN

bash 复制代码
start-dfs.sh
start-yarn.sh

2.4 浏览器访问

三、YARN的常用命令

3.1 启动和停止 YARN

bash 复制代码
#### 启动 YARN
start-yarn.sh

#### 停止 YARN
stop-yarn.sh

3.2 查看和管理应用程序

bash 复制代码
#### 列出所有正在运行的应用程序
yarn application -list

#### 查看特定应用程序的详细信息
yarn application -status <application-id>

#### 杀死一个应用程序
yarn application -kill <application-id>

#### 查看应用程序的日志
yarn logs -applicationId <application-id>

3.3 查看和管理节点

bash 复制代码
#### 列出所有节点的信息
yarn node -list

#### 查看特定节点的详细信息
yarn node -status <node-id>

3.4 查看和管理队列

bash 复制代码
#### 列出所有队列的信息
yarn queue -list all

#### 查看特定队列的详细信息
yarn queue -info <queue-name>

3.5 查看和管理资源

bash 复制代码
#### 查看集群资源的使用情况
yarn top

#### 查看特定应用程序的资源使用情况
yarn application -status <application-id>

3.6 查看和管理应用

bash 复制代码
#### 提交一个 MapReduce 作业
hadoop jar <path-to-jar> <main-class> <input-path> <output-path>

#### 提交一个通用 YARN 应用程序
yarn jar <path-to-jar> <main-class> <arguments>

#### 列出所有正在运行的应用程序
yarn application -list

#### 查看特定应用程序的详细信息
yarn application -status <application-id>

#### 杀死一个应用程序
yarn application -kill <application-id>

#### 查看应用程序的日志
yarn logs -applicationId <application-id>
相关推荐
Yz98766 小时前
hive复杂数据类型Array & Map & Struct & 炸裂函数explode
大数据·数据库·数据仓库·hive·hadoop·数据库开发·big data
EDG Zmjjkk8 小时前
Hive 函数(实例操作版2)
数据仓库·hive·hadoop
那一抹阳光多灿烂1 天前
Spark核心组件解析:Executor、RDD与缓存优化
hadoop·spark
Yz98761 天前
Hive分桶超详细!!!
大数据·数据仓库·hive·hadoop·hdfs·数据库开发·big data
Francek Chen1 天前
【大数据技术基础 | 实验十一】Hive实验:新建Hive表
大数据·数据仓库·hive·hadoop·分布式
出发行进1 天前
Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录
大数据·linux·hadoop·flink·虚拟机
闲人编程1 天前
Hadoop 使用过程中 15 个常见问题的详细描述、解决方案
大数据·hadoop·eclipse·解决方案·yarn·配置文件
橘子海全栈攻城狮1 天前
【源码+文档+调试讲解】基于Hadoop实现的豆瓣电子图书推荐系统的设计与实现
大数据·数据库·hadoop·spring boot·分布式·后端
二进制_博客1 天前
hadoop集群搭建
java·大数据·hadoop
qq_q9922502771 天前
django基于Hadoop 的国产电影数据分析与可视化
hadoop·数据分析·django