高并发架构实战 Day40

发送消息的时候已经通过某些依据(如订单号、uid)算出这条消息应该投放到哪个分区内,Kafka 同一个分区内的消息是顺序的。

那为什么要保证消费顺序呢?其实核心在于我们的数据操作必须按顺序执行,如果不按顺序,就会出现很多奇怪的场景。

比如"用户执行创建订单、支付订单、退费"这一系列操作,消费进程很有可能会先收到退费消息,但由于还没收到创建订单和支付订单的消息,退费操作在此时就无法进行。

当然,这只是个简单的例子,如果碰到更多步骤乱序的话,数据会更加混乱。所以我们如果想做好数据同步,就要尽量保证数据是顺序的。

队列在大部分时间是能够保证顺序性的,但是在极端情况下仍会有乱序发生。为此,我们在业务逻辑上需要做兼容,即使无法自动解决,也要记录好相关日志以方便后续排查问题。

不难发现,因为这个"顺序"的要求,我们的数据同步存在很大难度,好在 Kafka 是能够长时间保存消息的。如果在同步过程中出现问题,除了通过日志对故障进行修复外,我们还可以将故障期间的流量进行重放(重放要保证同步幂等)

相关推荐
码云社区16 分钟前
Spring Boot智慧物业系统源码:合同到期提醒、续签资料与资产协作
java·spring boot·后端·物业管理·物业系统·智慧物业
旋律4141 小时前
数据倾斜
后端
泡海椒1 小时前
jquick-pdf 热力图实战:Object 数组三元素的数据契约与模板还原
后端
行百里er1 小时前
【Spring Insight 技术分享】如何给 AI 接口调用做滑动窗口限流
spring boot·后端·spring cloud
贾公子1 小时前
异步检测的轮询与超时——别把「还没好」当成「失败了」
后端·python
im_AMBER2 小时前
CDC 对账:数据同步之后,如何验证源库与目标库一致
后端·mysql·面试
vlans3 小时前
Go:用装饰器给通知发送加上日志
后端·架构
王丁炜3 小时前
AI 产品死在第二十个问题上,不是死在模型上
后端
bai2733 小时前
同一条 294 字符的路径:Node 走得进去,git add 直接 exit 128
javascript·后端
一条Go3 小时前
探测规则:为什么它是告警规则的一种,而不是独立的任务体系
后端·架构·github