Hadoop3:Yarn框架的三种调度算法

一、概述

目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler
CDH框架默认调度器是Fair Scheduler

配置:yarn-default.xml

xml 复制代码
<property>
    <description>The class to use as the resource scheduler.</description>
    <name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

二、先进先出调度器(FIFO)

算法逻辑:单队列,根据提交作业的先后顺序,先来先服务。

生产环境中基本不用

三、容量调度器(Capacity Scheduler)[重点]

Capacity SchedulerYahoo开发的多用户调度器。

案例说明

四、公平调度器(Fair Schedulere)

Fair SchedulereFacebook开发的多用户调度器。

缺额

比如,一个任务,应获得的资源是10G内存,但是,实际分配到的只有6G内存,所以,缺额为4G

DRF策略

Fair策略

案例说明

相关推荐
嘉禾望岗5036 小时前
Yarn介绍与HA搭建
大数据·hadoop·yarn
励志成为糕手11 小时前
Hadoop进程:深入理解分布式计算引擎的核心机制
大数据·hadoop·分布式·mapreduce·yarn
卡拉叽里呱啦7 天前
拆分TypeScript项目的学习收获:处理编译缓存和包缓存,引用本地项目,使用相对路径
typescript·npm·yarn
小白不想白a12 天前
【Hadoop】YARN、离线计算框架MapReduce、Hive
大数据·hive·hadoop·mapreduce·yarn
艾小码1 个月前
三大 Node.js 包管理器对决:npm、yarn、pnpm 深度横评
npm·yarn
金金金__1 个月前
无废话,直接干,一篇短篇教你利用Corepack安装Yarn~
npm·yarn
码字的字节2 个月前
深入解析Hadoop YARN架构设计:从原理到实践
hadoop·yarn
码字的字节2 个月前
深入探讨Hadoop YARN Federation:架构设计与实践应用
hadoop·yarn·federation
小葛呀3 个月前
互联网大数据求职面试:从Zookeeper到Flink的技术探讨
大数据·redis·zookeeper·面试·flink·互联网·yarn
ZKf30FkG3 个月前
前端包管理工具终极对决:npm vs Yarn vs pnpm vs Bun vs Deno
前端·npm·node.js·yarn