Kafka 消息有序性问题

Kafka 消息有序性问题

业务场景

在某些场景下,需要保证消息的有序性,比如同一个账号的买票退票改签信息,但是当此主题下有多个分区时,往往不能保证其有序性。

原因分析

当 kafka 的一个 topic 存在多个 partition 时,是无法保证数据的顺序性的,但是同一个 partition 中的数据是有顺序的。

技术建议

我们来回顾 kafka 的基础结构:

  • kafka 的消息组织方式是三级结构:主题-分区(副本)-消息。主题下的每条消息只会保存在某一份分区中,不会在多个分区中保存多份。
  • 分区是实现负载均衡以及高吞吐量的关键。
  • 常见分区策略:轮询、随机、按消息键保序。
  • 消息重试时不会换分区,只是简单地将消息重新发送到之前的分区。

解决方案

保证同一批因果依赖的消息分到一个分区,在此案例中就是将同一个账号的操作信息都发往一个分区。

相关推荐
此时不提桶,更待何时4 小时前
06-18-A-RabbitMQ消息特性与消费机制详解
分布式·rabbitmq
闻哥5 小时前
分布式任务调度框架:XXL-Job / ElasticJob / DolphinScheduler / SchedulerX 架构对比与选型
分布式·架构·wpf
笔墨登场说说6 小时前
centos 8 使用 kafka_2.13-4.3.1.tgz 安装kafka
linux·kafka·centos
明月无心照西山6 小时前
分布式任务系统的监控告警分级与自愈设计——以帮帮星球为例
分布式
guo_wen_qiang6 小时前
kafka一直restarting,报错InconsistentClusterIdException
分布式·kafka
实战派K8S&DB6 小时前
TDSQL 核心模块与进程体系
运维·数据库·分布式·sql·mysql
仍然.6 小时前
Redis---分布式锁
数据库·redis·分布式
小小龙学IT7 小时前
etcd 深度解析:Go 分布式一致性 KV 存储与 Raft 共识实战
分布式·golang·etcd
今年下半年7 小时前
【消息队列】Spring Boot 集成 Kafka 消息队列:确保消费完成(手动提交偏移量+幂等判断+失败重试机制)
spring boot·kafka·幂等·失败重试
小师兄吃牛肉15 小时前
Java 同步系列之 ZooKeeper 分布式锁
java·分布式·java-zookeeper