yarn向hive提交队列的方式

在YARN集群中,向Hive任务指定提交队列的方式主要通过以下步骤实现:


一、永久性配置(修改Hive配置文件)

  1. 修改 hive-site.xml 文件,添加队列参数:

    <property> <name>mapreduce.job.queuename</name> <value>your_queue_name</value> </property>

此配置对所有Hive会话生效。


二、临时指定(会话级覆盖)

在Hive CLI/Beeline会话中动态设置:

复制代码
SET mapreduce.job.queuename=your_queue_name;

此配置仅对当前会话生效。


三、任务级指定(HiveQL语句中)

在具体查询前添加设置指令:

复制代码
SET mapreduce.job.queuename=high_priority_queue;
SELECT ... FROM ...; -- 实际查询语句

四、验证队列生效

提交任务后,通过YARN ResourceManager UI查看:

  1. 访问 http://<rm-host>:8088/cluster/apps
  2. 在应用列表中确认 Queue 列显示指定队列名

注意事项

  1. 队列名需与YARN中预先配置的队列一致(通过 capacity-scheduler.xml 定义)

  2. 权限要求:用户需具有目标队列的提交权限

  3. 资源限制:队列资源不足时任务可能等待或失败

    示例:提交到名为 "bi_queue" 的队列

    hive -e "SET mapreduce.job.queuename=bi_queue; SELECT COUNT(*) FROM sales;"

相关推荐
ClouderaHadoop12 小时前
CDH 最隐蔽的坑:NTP 时间同步导致的 5 类故障
hadoop·hbase·kerberos·cloudera·cdh
Gent_倪13 小时前
Hadoop生态组件介绍
大数据·hadoop
地球资源数据云14 小时前
1900-2023年中国物种分布点位矢量数据集
大数据·数据结构·数据库·数据仓库·人工智能
YaBingSec15 小时前
玄机网络安全靶场:Hadoop YARN ResourceManager 未授权 RCE WP
大数据·数据库·hadoop·redis·笔记·分布式·web安全
Leo.yuan15 小时前
数据仓库是什么?数据仓库和大数据平台、数据湖、数据中台、湖仓一体有什么区别?
大数据·数据仓库·spark
哥本哈士奇1 天前
数据仓库笔记 第六篇:PSA 层 SCD2 处理方式
数据仓库
曹牧2 天前
Java Web 开发:servlet-mapping‌
java·数据仓库·hive·hadoop
juniperhan2 天前
Flink 系列第20篇:Flink SQL 语法全解:从 DDL 到 DML,窗口、聚合、列转行一网打尽
大数据·数据仓库·分布式·sql·flink
菜鸟小码3 天前
HDFS 数据块(Block)机制深度解析:从原理到实战
大数据·hadoop·hdfs
早睡早起早日毕业3 天前
大数据管理与应用系列丛书《大数据平台架构》之第4章 Hadoop 分布式文件系统 (HDFS)
大数据·hadoop·架构