分布式资源调度——yarn 概述（资源调度基本架构和高可用的实现）

此文章是学习笔记，图片均来源于B站：哈喽鹏程

yarn详细介绍

• [1、yarn 简介](#1、yarn 简介)
• • [1.1 yarn的简介](#1.1 yarn的简介)
  • [1.2 yarn 的基本架构](#1.2 yarn 的基本架构)
  • [1.3. yarn 的高可用](#1.3. yarn 的高可用)
• [2、yarn 调度策略、运维、监控](#2、yarn 调度策略、运维、监控)
• • [2.1 yarn 的调度策略](#2.1 yarn 的调度策略)
  • • [2.1.1 FIFO scheduler(先进先出)](#2.1.1 FIFO scheduler(先进先出))
    • [2.1.2 容量调度](#2.1.2 容量调度)
    • [2.1.3 公平调度](#2.1.3 公平调度)
  • [2.2 yarn 的运维与管理](#2.2 yarn 的运维与管理)

1、yarn 简介

1.1 yarn的简介

1.2 yarn 的基本架构

1.3. yarn 的高可用

2、yarn 调度策略、运维、监控

2.1 yarn 的调度策略

2.1.1 FIFO scheduler(先进先出)

• 调度策略：将所有任务放入一个队列，先进队列的先获得资源，排在后面的任务只有等待。
• 缺点：a.资源利用率低，无法交叉完成任务；b.灵活性差，如紧急任务无法插队，耗时短的紧急任务只有等待。
  

2.1.2 容量调度

• 预分队列，比如预分两个队列a、b;
• 再将每个队列预分资源比如：a(80%)，b（20%）
• 
• 如果资源a执行大作业，都在晚上进行。那么白天资源就浪费了。所以可以设置最大的资源占比。比如：白天的时候队列b 默认资源是20%，最多可以获得100% 的资源。
  
• 容量调度器去配置的时候，可以在yarn -site .xml文件里面，配置调度的方式

2.1.3 公平调度

2.2 yarn 的运维与管理

yarn application command_options