yarn向hive提交队列的方式

在YARN集群中,向Hive任务指定提交队列的方式主要通过以下步骤实现:


一、永久性配置(修改Hive配置文件)

  1. 修改 hive-site.xml 文件,添加队列参数:

    <property> <name>mapreduce.job.queuename</name> <value>your_queue_name</value> </property>

此配置对所有Hive会话生效。


二、临时指定(会话级覆盖)

在Hive CLI/Beeline会话中动态设置:

复制代码
SET mapreduce.job.queuename=your_queue_name;

此配置仅对当前会话生效。


三、任务级指定(HiveQL语句中)

在具体查询前添加设置指令:

复制代码
SET mapreduce.job.queuename=high_priority_queue;
SELECT ... FROM ...; -- 实际查询语句

四、验证队列生效

提交任务后,通过YARN ResourceManager UI查看:

  1. 访问 http://<rm-host>:8088/cluster/apps
  2. 在应用列表中确认 Queue 列显示指定队列名

注意事项

  1. 队列名需与YARN中预先配置的队列一致(通过 capacity-scheduler.xml 定义)

  2. 权限要求:用户需具有目标队列的提交权限

  3. 资源限制:队列资源不足时任务可能等待或失败

    示例:提交到名为 "bi_queue" 的队列

    hive -e "SET mapreduce.job.queuename=bi_queue; SELECT COUNT(*) FROM sales;"

相关推荐
Direction_Wind10 小时前
Iceberg 与 Hive 用法区别
数据仓库·hive·hadoop
本旺10 小时前
【Starrocks + Hive 】BitMap + 物化视图 实战记录
大数据·数据仓库·hive
fvafuc10 小时前
常用odps(hive)语法
数据仓库·hive·hadoop
jinxinyuuuus1 天前
vsGPU:硬件参数的数据仓库设计、ETL流程与前端OLAP分析
前端·数据仓库·etl
编织幻境的妖1 天前
ETL、数据仓库与数据湖详解
数据仓库·etl
爱吃大芒果1 天前
Flutter 本地存储方案:SharedPreferences、SQFlite 与 Hive
开发语言·javascript·hive·hadoop·flutter·华为·harmonyos
咨询qq 8762239651 天前
三相逆变器MPC控制:从原理到仿真实践
数据仓库
shjita1 天前
hadoop运行jar包的相关配置参考!
大数据·hadoop·分布式
yumgpkpm1 天前
AI大模型手机的“简单替换陷阱”与Hadoop、Cloudera CDP 7大数据底座的关系探析
大数据·人工智能·hadoop·华为·spark·kafka·cloudera