yarn向hive提交队列的方式

在YARN集群中,向Hive任务指定提交队列的方式主要通过以下步骤实现:


一、永久性配置(修改Hive配置文件)

  1. 修改 hive-site.xml 文件,添加队列参数:

    <property> <name>mapreduce.job.queuename</name> <value>your_queue_name</value> </property>

此配置对所有Hive会话生效。


二、临时指定(会话级覆盖)

在Hive CLI/Beeline会话中动态设置:

复制代码
SET mapreduce.job.queuename=your_queue_name;

此配置仅对当前会话生效。


三、任务级指定(HiveQL语句中)

在具体查询前添加设置指令:

复制代码
SET mapreduce.job.queuename=high_priority_queue;
SELECT ... FROM ...; -- 实际查询语句

四、验证队列生效

提交任务后,通过YARN ResourceManager UI查看:

  1. 访问 http://<rm-host>:8088/cluster/apps
  2. 在应用列表中确认 Queue 列显示指定队列名

注意事项

  1. 队列名需与YARN中预先配置的队列一致(通过 capacity-scheduler.xml 定义)

  2. 权限要求:用户需具有目标队列的提交权限

  3. 资源限制:队列资源不足时任务可能等待或失败

    示例:提交到名为 "bi_queue" 的队列

    hive -e "SET mapreduce.job.queuename=bi_queue; SELECT COUNT(*) FROM sales;"

相关推荐
鹿衔`19 小时前
Hadoop HDFS 核心机制与设计理念浅析文档
大数据·hadoop·hdfs
`林中水滴`19 小时前
数仓系列:一文读懂仓湖一体架构
数据仓库
Justice Young1 天前
Sqoop复习笔记
hadoop·笔记·sqoop
大厂技术总监下海1 天前
从Hadoop MapReduce到Apache Spark:一场由“磁盘”到“内存”的速度与范式革命
大数据·hadoop·spark·开源
zgl_200537791 天前
ZGLanguage 解析SQL数据血缘 之 Python提取SQL表级血缘树信息
大数据·数据库·数据仓库·hive·hadoop·python·sql
Justice Young2 天前
Hive第四章:HIVE Operators and Functions
大数据·数据仓库·hive·hadoop
LF3_2 天前
hive,Relative path in absolute URI: ${system:user.name%7D 解决
数据仓库·hive·hadoop
德彪稳坐倒骑驴2 天前
Hive SQL常遗忘的命令
hive·hadoop·sql
Justice Young2 天前
Hive第六章:Hive Optimization and Miscellaneous
数据仓库·hive·hadoop
Justice Young2 天前
Hive第五章:Integeration with HBase
大数据·数据仓库·hive·hbase