Hive 任务限制同时运行的任务数量的配置

Hive任务的并发控制,指同时运行的 container 的数量,防止先提交的任务占用全部的队列资源,导致后来提交的任务无法申请到足够的资源。

Hive 任务的并发控制,和使用的引擎相关。

MapReduce(MR)引擎

  • Map 任务

    mr 引擎使用 mapreduce.job.running.map.limit 来限制同时执行的 map 任务数量。如一个 hive 任务生成 1000 个 map 任务。当 mapreduce.job.running.map.limit 为 10 时,最多可以同时运行 10 个 map 任务。默认值为0,代表不限制同时执行的 map 任务数量。

  • Reduce 任务
    mapreduce.job.running.reduce.limit 来限制同时执行的 reduce 任务数量。默认值为0,代表不限制。

Tez 引擎

TEZ 没有相关的配置。

相关推荐
爱吃大芒果3 小时前
Flutter 本地存储方案:SharedPreferences、SQFlite 与 Hive
开发语言·javascript·hive·hadoop·flutter·华为·harmonyos
yumgpkpm4 小时前
(简略)AI 大模型 手机的“简单替换陷阱”与Hadoop、Cloudera CDP 7大数据底座的关系探析
人工智能·hive·zookeeper·flink·spark·kafka·开源
yumgpkpm4 小时前
Cloudera CDP 7.3下载地址、方式,开源适配 CMP 7.3(或类 CDP 的 CMP 7.13 平台,如华为鲲鹏 ARM 版)值得推荐
大数据·hive·hadoop·分布式·华为·开源·cloudera
番茄撒旦在上1 天前
Hive数仓分层——国内大数据就业洞察
大数据·数据仓库·hive
yumgpkpm1 天前
hadoop集群搭建 (超详细) 接入Impala、Hive,AI 大模型的数据底座
hive·hadoop·mysql·zookeeper·flink·kafka·hbase
梦里不知身是客112 天前
hive中metastore 服务的意义
数据仓库·hive·hadoop
梦里不知身是客112 天前
hiveserver2服务的作用和启动
hive
梦里不知身是客112 天前
hive让分区关联数据的三种方式
数据仓库·hive·hadoop
咨询QQ8762239652 天前
从 Lumerical 和 COMSOL 中提取光栅反射相位
hive
m0_740043733 天前
Spring_全面详解入门
数据仓库·hive·hadoop