Hive 任务限制同时运行的任务数量的配置

Hive任务的并发控制,指同时运行的 container 的数量,防止先提交的任务占用全部的队列资源,导致后来提交的任务无法申请到足够的资源。

Hive 任务的并发控制,和使用的引擎相关。

MapReduce(MR)引擎

  • Map 任务

    mr 引擎使用 mapreduce.job.running.map.limit 来限制同时执行的 map 任务数量。如一个 hive 任务生成 1000 个 map 任务。当 mapreduce.job.running.map.limit 为 10 时,最多可以同时运行 10 个 map 任务。默认值为0,代表不限制同时执行的 map 任务数量。

  • Reduce 任务
    mapreduce.job.running.reduce.limit 来限制同时执行的 reduce 任务数量。默认值为0,代表不限制。

Tez 引擎

TEZ 没有相关的配置。

相关推荐
邀星月为媒1 天前
从零打造一个属于自己的 AI Agent:Core Hive Agent 开源项目解析
人工智能·hive·开源
BI专家之路1 天前
安装linux/hadoop/jdk/hive
linux·hive·hadoop
fastjson_3 天前
Hive 基础函数
数据仓库·hive·hadoop
邀星月为媒6 天前
正式迁移 Gitee:core-site-hive 与 core-hive-agent 后续更新只认这两个地址
hive·hadoop·gitee
fastjson_7 天前
Hive 复杂数据类型
数据仓库·hive·hadoop
hopsky7 天前
《Hive性能调优实战》核心内容详细解读
数据仓库·hive·hadoop
赤土 炙焱19 天前
hiveserver2启动失败,磁盘满了
hive·hadoop
Francek Chen20 天前
【大数据处理与分析】数据仓库Hive:02 数据湖
大数据·数据仓库·hive·hadoop·分布式·数据分析
Waay23 天前
什么是HBase?它和Hive有什么区别?
大数据·数据库·hive·hadoop·hdfs·hbase
fastjson_24 天前
Hive的介绍和使用
数据仓库·hive·hadoop