Hadoop3:Yarn框架的三种调度算法

一、概述

目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler
CDH框架默认调度器是Fair Scheduler

配置:yarn-default.xml

xml 复制代码
<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

二、先进先出调度器(FIFO)

算法逻辑:单队列,根据提交作业的先后顺序,先来先服务。

生产环境中基本不用

三、容量调度器(Capacity Scheduler)[重点]

Capacity SchedulerYahoo开发的多用户调度器。

案例说明

四、公平调度器(Fair Schedulere)

Fair SchedulereFacebook开发的多用户调度器。

缺额

比如,一个任务,应获得的资源是10G内存,但是,实际分配到的只有6G内存,所以,缺额为4G

DRF策略

Fair策略

案例说明

相关推荐
小葛呀12 天前
互联网大数据求职面试:从Zookeeper到Flink的技术探讨
大数据·redis·zookeeper·面试·flink·互联网·yarn
ZKf30FkG17 天前
前端包管理工具终极对决:npm vs Yarn vs pnpm vs Bun vs Deno
前端·npm·node.js·yarn
qiandeqiande22 天前
Yarn与NPM缓存存储目录迁移
npm·yarn
没事儿24 天前
升级老项目的包依赖
前端·npm·yarn
打小就很皮...1 个月前
npm、pnpm、yarn使用以及区别
前端·npm·yarn
灿灿121381 个月前
npm、pnpm、yarn 各自优劣深度剖析
前端·javascript·npm·pnpm·yarn
雨笋情缘1 个月前
【2025-05-22】centos 离线安装兼容node和npm版本的pm2 和 yarn
linux·npm·centos·node·yarn·pm2
鲁尼的小宝贝1 个月前
基于Flink的数据中台管理平台
java·大数据·clickhouse·flink·yarn
big tail2 个月前
项目依赖版本修改
npm·pnpm·react·yarn·依赖·package.json
IvanCodes2 个月前
七、Hadoop 历史追踪、数据安全阀与 MapReduce初体验
大数据·hadoop·hdfs·mapreduce·yarn