Kafka 消息有序性问题

Kafka 消息有序性问题

业务场景

在某些场景下,需要保证消息的有序性,比如同一个账号的买票退票改签信息,但是当此主题下有多个分区时,往往不能保证其有序性。

原因分析

当 kafka 的一个 topic 存在多个 partition 时,是无法保证数据的顺序性的,但是同一个 partition 中的数据是有顺序的。

技术建议

我们来回顾 kafka 的基础结构:

  • kafka 的消息组织方式是三级结构:主题-分区(副本)-消息。主题下的每条消息只会保存在某一份分区中,不会在多个分区中保存多份。
  • 分区是实现负载均衡以及高吞吐量的关键。
  • 常见分区策略:轮询、随机、按消息键保序。
  • 消息重试时不会换分区,只是简单地将消息重新发送到之前的分区。

解决方案

保证同一批因果依赖的消息分到一个分区,在此案例中就是将同一个账号的操作信息都发往一个分区。

相关推荐
此时不提桶,更待何时8 小时前
06-23-A-RabbitMQ生态集成详解
分布式·rabbitmq
m0_6464299713 小时前
RabbitMQ 核心知识总结(生产实战版)
分布式·rabbitmq
DBA_G15 小时前
GBase 8c分布式数据库客户端工具 gsql
数据库·分布式
chunyublog15 小时前
Spark 词频统计练习
大数据·分布式·spark
ClouGence16 小时前
开源数据库管理工具 CloudDM 4.4.0 发布,新增 Kafka、SAP HANA 数据源
数据库·kafka
acrel717 小时前
高速公路分布式光伏并网电能质量与安全保护方案应用
分布式·安全
RobinXYuan17 小时前
【Kafka 源码手记】01 从消息队列到 Event Streaming
kafka·源码阅读
IT小小猪18 小时前
# Hadoop 3.3.6 完全分布式集群部署知识库
hadoop·分布式·eclipse
此时不提桶,更待何时18 小时前
06-24-B-RabbitMQ面试与生产事故实战
分布式·面试·rabbitmq
来福猿19 小时前
分布式锁 Redis 实现源码分析:SETNX、过期时间与可重入设计
数据库·redis·分布式