消息队列+更新DB极易引发的DB并发修改bug

背景

我们在生产系统中和其他系统进行交互时一般都会通过消息队列来解耦生产者和消费者,然后通过每个使用方消费消息队列的消息的方式来完成消息的消费,并且一般来说我们消费消息后极有可能会操作DB,不过这种方式如果处理不够仔细,很容易发生DB并发更新导致的数据覆盖

问题复现

解决方案:

1.对于DB的同一条记录的操作需要有先后顺序,这就要求对于同一个mid的消息消费要串行,而不能并行,所以这就要求生产者发送消息到消息队列时需要按照mid进行partition分区,这样同一个mid只会在一个分区中,而kafka的消息消费是分区有序的,这个问题就可以解决掉了

2.对于DB的并发更新使用加乐观锁(版本号)或者悲观锁的方式来达到串行更新DB记录的效果

相关推荐
sunshine-sm1 小时前
CentOS Steam 9安装 MySQL 8
linux·运维·服务器·数据库·mysql·centos·centos stream
IT果果日记1 小时前
详解DataX开发达梦数据库插件
大数据·数据库·后端
烧冻鸡翅QAQ1 小时前
redis的数据类型:List
数据库·redis·list
蒋士峰DBA修行之路2 小时前
实验五 静态剪枝
数据库·算法·剪枝
蒋士峰DBA修行之路2 小时前
实验六 动态剪枝
数据库·算法·剪枝
kimble_xia@oracle2 小时前
SQL 笔记
java·数据库·oracle
树谷-胡老师3 小时前
公元前3400年至公元2024年全球国家地理边界演变数据集
数据库·arcgis·信息可视化
疯狂的Alex3 小时前
2010-2022 同等学力申硕国考:软件工程简答题真题汇总
数据库·oracle·软件工程
Qlittleboy3 小时前
tp5的tbmember表闭包查询 openid=‘abc‘ 并且(wx_unionid=null或者wx_unionid=‘‘)
数据库·sql·php
躲在云朵里`4 小时前
Spring Scheduler定时任务实战:从零掌握任务调度
java·数据库·mybatis