Kafka 消息有序性问题

Kafka 消息有序性问题

业务场景

在某些场景下,需要保证消息的有序性,比如同一个账号的买票退票改签信息,但是当此主题下有多个分区时,往往不能保证其有序性。

原因分析

当 kafka 的一个 topic 存在多个 partition 时,是无法保证数据的顺序性的,但是同一个 partition 中的数据是有顺序的。

技术建议

我们来回顾 kafka 的基础结构:

  • kafka 的消息组织方式是三级结构:主题-分区(副本)-消息。主题下的每条消息只会保存在某一份分区中,不会在多个分区中保存多份。
  • 分区是实现负载均衡以及高吞吐量的关键。
  • 常见分区策略:轮询、随机、按消息键保序。
  • 消息重试时不会换分区,只是简单地将消息重新发送到之前的分区。

解决方案

保证同一批因果依赖的消息分到一个分区,在此案例中就是将同一个账号的操作信息都发往一个分区。

相关推荐
祈禾8 小时前
Redis三大缓存问题与分布式锁
运维·数据库·redis·笔记·分布式·缓存
叠层归一研究院9 小时前
AGI 系统(五):多主体 AGI 网络 — 分布式符号边界上的时序差同构传播
分布式·php·agi
李白客14 小时前
分布式集群与数据库产业:从单机到集群的架构跃迁与市场重构
数据库·分布式·架构
传感器与混合集成电路14 小时前
储气库漏失检测技术解析:分布式光纤如何锁定环空窜漏的精确位置
分布式·数据分析·信号处理
cfm_291416 小时前
了解Sentinel
分布式·架构·sentinel
上海云盾-小余17 小时前
全域网络安全防护思路:借助分布式节点抵御异常访问实战
分布式·安全·web安全
江畔柳前堤18 小时前
LLM 量化与剪枝完全指南:从比特级数学到生产级内核
人工智能·分布式·深度学习·算法·机器学习·目标跟踪·语言模型
中议视控20 小时前
展厅可视化网络中央控制系统:支持双向反馈,可视化播控,回显,状态显示,反向控制电脑,声光电网络视讯设备统一管理
网络·分布式·信息可视化
Java成神之路-1 天前
集群架构 vs 分布式微服务架构:核心区别通俗拆解
分布式·微服务·架构
运维行者_2 天前
企业带宽监控工具实战:网络流量分析与异常排查的5个关键能力
运维·服务器·开发语言·网络·分布式·后端·php