Kafka中的时间轮算法

1. Kafka与时间轮:

Kafka的定时器底层使用时间轮算法。Kafka时间轮是层次时间轮,并且支持时间轮复用。

优点:

  • 高效的插入操作:
    • 时间轮底层数据结构(桶),使用双向链表的设计使得插入操作的时间复杂度达到O(1)。
    • 把相同到期时间的任务放到桶中,在DQ中只插入一次。
  • 层级时间轮,时间轮有升降级机制。
  • 复用过期时间格。

优秀文章:

Kafka如何通过层级时间轮实现延时消息队列?_kafka基于时间轮如何实现延迟队列-CSDN博客 -> 非常不错的文章

时间轮(TimingWheel)-CSDN博客 -> 使用图例方式演示

2. Kafka时间轮(TimingWheel)算法:

  • 时间轮的算法思想可以通过我们日常生活中的钟表来理解。
  • 一个存储定时任务的环形队列。底层采用数组实现,数组中的每个元素存放一个定时任务列表(TimerTaskList)。
  • 定时任务列表是一个环形的双向链表,链表中的每一项表示一个定时任务项(TimerTaskEntry),其中封装了真正的定时任务(TimerTask)。

3. Kafka如何支持大跨度的定时任务呢?

两种解决方案:使用增加轮次/圈数的概念(Netty 的 HashedWheelTimer )、使用多层时间轮的概念 (Kafka 的 TimingWheel)。

多层时间轮就更像我们钟表的概念。秒针走的一圈、分针走的一圈和时针走的一圈就形成了一个多层时间轮的关系。

4. Kakfa时间轮中DelayQueue的作用:

1.使用DelayQueue推进时间轮往前走,并且避免时间轮的空推进。

2.使用DelayQueue获取到期的任务。

拓展:时间轮使用DQ,如何避免空推荐?

Kafka则是通过DelayQueue来推进,是一种空间换时间的思想:

  • DelayQueue 中保存着所有的 TimerTaskList 对象,根据时间来排序,这样延时越小的任务排在越前面。
  • 外部通过一个线程(叫做ExpiredOperationReaper)从 DelayQueue 中获取超时的任务列表 TimerTaskList,然后根据 TimerTaskList 的 过期时间来精确推进时间轮的时间,这样就不会存在空推进的问题啦。

拓展:时间轮用到了DQ,为什么不直接用DQ?

1.性能高:

1.1 DQ插入和删除操作都是O(log n),时间轮算法的插入和删除操作都是 O(1) -> 底层是任务的添加和删除是基于链表实现的。

1.2 DQ只存放了TimerTaskList,并不是所有的TimerTask,所以数量并不多。

相关推荐
平凡但不平庸的码农4 小时前
Go Slice 详解
算法·golang
Jasmine_llq7 小时前
《B3867 [GESP202309 三级] 小杨的储蓄》
算法·循环遍历·数组累加(模拟)·索引定位·顺序输出
啦啦啦_99997 小时前
案例之 逻辑回归_电信用户流失预测
算法·机器学习·逻辑回归
风筝在晴天搁浅7 小时前
快手/字节 CodeTop LeetCode 415.字符串相加
算法·leetcode
DragonnAi8 小时前
猫咪如厕检测与分类识别系统系列【十四】 项目结构重新整理-即将开源完整算法
算法·开源
机器视觉_Explorer8 小时前
【halcon】编程技巧:鼠标擦除
图像处理·人工智能·深度学习·算法·视觉检测
灵智实验室9 小时前
PX4状态估计技术EKF2详解(二):EKF2 误差状态动力学与协方差传播
算法·无人机·px 4
米粒19 小时前
力扣算法刷题 Day 64 Floyd算法 & A* 算法 & 总结篇
算法·leetcode·职场和发展
XX風9 小时前
OpenGL中Face culling 面剔除的具体实现
算法·图形渲染
IT猿手10 小时前
光伏模型参数估计:基于山羊优化算法(GOA )的光伏模型参数辨识问题求解研究,免费提供完整MATLAB代码链接
开发语言·算法·matlab·群智能优化算法·智能优化算法·光伏模型参数估计·光伏模型参数辨识