分布式调度框架学习笔记

一、分布式调度框架的基本设计

二、线程池线程数量设置的基本逻辑

cpu是分时复用的方法,线程是cpu调度的最小单元

如果当前cpu核数是n,计算密集型线程数一般设为n,io密集型(包括磁盘io和网络io)线程数一般设置为2n.

计算密集型线程数一般设为n的逻辑解释:

io密集型(包括磁盘io和网络io)线程数一般设置为2n的逻辑解释:

三、xxljob为什设置的线程是100,200?

四、power-job的无锁化设计

1. 任务分片

设计理念:在分布式环境中,任务通常被分成多个子任务(分片)并行执行。无锁化设计通过减少对共享资源的竞争来提高并发性能

实现方式:PowerJob 通过将任务分片分配给不同的执行节点,避免了多个节点对同一资源的竞争,从而减少了锁的使用。

2. 去中心化调度

设计理念:去中心化调度意味着调度决策不依赖于单一的中心节点,从而避免了中心节点的性能瓶颈和单点故障。

实现方式:PowerJob 采用去中心化的调度策略,允许各个节点独立地进行任务调度和执行,减少了对中心节点的依赖。

3. 无状态设计

设计理念:无状态设计意味着每个节点不依赖于其他节点的状态信息,从而减少了锁的使用。

实现方式:PowerJob 的节点设计为无状态,任务的状态信息存储在外部持久化存储中(如数据库),节点通过查询持久化存储来获取任务状态。

五、分布式调度框架对比


ElasticJob相对xxl-job和power-job的对比:

备注:

推荐课程:

【分布式调度中心power-job中固定延迟任务调度问题】https://www.bilibili.com/video/BV1Qb421B7n8?vd_source=3c00905b4271effeeee3f3184045c49b

相关推荐
丰锋ff1 小时前
考研英一学习笔记 2018年
笔记·学习·考研
1296004521 小时前
pytorch基础的学习
人工智能·pytorch·学习
岂是尔等觊觎1 小时前
软件设计师教程——第一章 计算机系统知识(下)
经验分享·笔记·其他
Oll Correct2 小时前
计算机二级WPS Office第三套电子表格
笔记
睡不着还睡不醒2 小时前
【笔记】unsqueeze
笔记
LouSean2 小时前
Unity按钮事件冒泡
经验分享·笔记·学习·unity·游戏引擎
pq113_63 小时前
OrangePi Zero 3学习笔记(Android篇)4 - eudev编译(获取libudev.so)
android·笔记·学习
AI新视界4 小时前
『Python学习笔记』ubuntu解决matplotlit中文乱码的问题!
linux·笔记·ubuntu
Chef_Chen4 小时前
R语言学习--Day01--数据清洗初了解andR的经典筛选语法
学习
njsgcs5 小时前
Mamba 状态空间模型 笔记 llm框架 一维卷积
笔记