Hive 任务限制同时运行的任务数量的配置

Hive任务的并发控制,指同时运行的 container 的数量,防止先提交的任务占用全部的队列资源,导致后来提交的任务无法申请到足够的资源。

Hive 任务的并发控制,和使用的引擎相关。

MapReduce(MR)引擎

  • Map 任务

    mr 引擎使用 mapreduce.job.running.map.limit 来限制同时执行的 map 任务数量。如一个 hive 任务生成 1000 个 map 任务。当 mapreduce.job.running.map.limit 为 10 时,最多可以同时运行 10 个 map 任务。默认值为0,代表不限制同时执行的 map 任务数量。

  • Reduce 任务
    mapreduce.job.running.reduce.limit 来限制同时执行的 reduce 任务数量。默认值为0,代表不限制。

Tez 引擎

TEZ 没有相关的配置。

相关推荐
core5124 小时前
Hive实战(三)
数据仓库·hive·hadoop
程序员小羊!8 小时前
大数据电商流量分析项目实战:Hive 数据仓库(三)
大数据·数据仓库·hive
core51221 小时前
Hive实战(一)
数据仓库·hive·hadoop·架构·实战·配置·场景
智海观潮21 小时前
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
hive·sql·spark
cxr8282 天前
基于Claude Code的 规范驱动开发(SDD)指南
人工智能·hive·驱动开发·敏捷流程·智能体
core5122 天前
Hive实战(二)
数据仓库·hive·hadoop
Agatha方艺璇3 天前
Hive基础简介
数据仓库·hive·hadoop
像豆芽一样优秀4 天前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
howard20055 天前
VMWare上搭建Hive集群
hive·hadoop
程序猿 董班长7 天前
springboot配置多数据源(mysql、hive)
hive·spring boot·mysql