分布式资源调度——yarn 概述(资源调度基本架构和高可用的实现)

此文章是学习笔记,图片均来源于B站:哈喽鹏程

yarn详细介绍

  • [1、yarn 简介](#1、yarn 简介)
    • [1.1 yarn的简介](#1.1 yarn的简介)
    • [1.2 yarn 的基本架构](#1.2 yarn 的基本架构)
    • [1.3. yarn 的高可用](#1.3. yarn 的高可用)
  • [2、yarn 调度策略、运维、监控](#2、yarn 调度策略、运维、监控)
    • [2.1 yarn 的调度策略](#2.1 yarn 的调度策略)
      • [2.1.1 FIFO scheduler(先进先出)](#2.1.1 FIFO scheduler(先进先出))
      • [2.1.2 容量调度](#2.1.2 容量调度)
      • [2.1.3 公平调度](#2.1.3 公平调度)
    • [2.2 yarn 的运维与管理](#2.2 yarn 的运维与管理)

1、yarn 简介

1.1 yarn的简介

1.2 yarn 的基本架构

1.3. yarn 的高可用

2、yarn 调度策略、运维、监控

2.1 yarn 的调度策略

2.1.1 FIFO scheduler(先进先出)

  • 调度策略:将所有任务放入一个队列,先进队列的先获得资源,排在后面的任务只有等待。
  • 缺点:a.资源利用率低,无法交叉完成任务;b.灵活性差,如紧急任务无法插队,耗时短的紧急任务只有等待。

2.1.2 容量调度

  • 预分队列,比如预分两个队列a、b;
  • 再将每个队列预分资源比如:a(80%),b(20%)
  • 如果资源a执行大作业,都在晚上进行。那么白天资源就浪费了。所以可以设置最大的资源占比。比如:白天的时候队列b 默认资源是20%,最多可以获得100% 的资源。
  • 容量调度器去配置的时候,可以在yarn -site .xml文件里面,配置调度的方式


2.1.3 公平调度



2.2 yarn 的运维与管理

yarn application [command_options]

相关推荐
搬砖的小码农_Sky1 小时前
XILINX Zynq-7000系列FPGA的架构
fpga开发·架构
一路向北North2 小时前
使用reactor-rabbitmq库监听Rabbitmq
分布式·rabbitmq·ruby
zkmall3 小时前
企业电商解决方案哪家好?ZKmall模块商城全渠道支持 + 定制化服务更省心
大数据·运维·重构·架构·开源
美狐美颜sdk7 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
Amy187021118237 小时前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式
小雷FansUnion10 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
慌糖10 小时前
微服务介绍
微服务·云原生·架构
June bug11 小时前
【软考中级·软件评测师】下午题·面向对象测试之架构考点全析:分层、分布式、微内核与事件驱动
经验分享·分布式·职场和发展·架构·学习方法·测试·软考
阿波罗.201212 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
Bug退退退12313 小时前
RabbitMQ 工作模式
java·分布式·rabbitmq