消息队列+更新DB极易引发的DB并发修改bug

背景

我们在生产系统中和其他系统进行交互时一般都会通过消息队列来解耦生产者和消费者,然后通过每个使用方消费消息队列的消息的方式来完成消息的消费,并且一般来说我们消费消息后极有可能会操作DB,不过这种方式如果处理不够仔细,很容易发生DB并发更新导致的数据覆盖

问题复现

解决方案:

1.对于DB的同一条记录的操作需要有先后顺序,这就要求对于同一个mid的消息消费要串行,而不能并行,所以这就要求生产者发送消息到消息队列时需要按照mid进行partition分区,这样同一个mid只会在一个分区中,而kafka的消息消费是分区有序的,这个问题就可以解决掉了

2.对于DB的并发更新使用加乐观锁(版本号)或者悲观锁的方式来达到串行更新DB记录的效果

相关推荐
工作中的程序员4 分钟前
ES 索引或索引模板
大数据·数据库·elasticsearch
严格格7 分钟前
三范式,面试重点
数据库·面试·职场和发展
微刻时光24 分钟前
Redis集群知识及实战
数据库·redis·笔记·学习·程序人生·缓存
单字叶33 分钟前
MySQL数据库
数据库·mysql
mqiqe36 分钟前
PostgreSQL 基础操作
数据库·postgresql·oracle
just-julie39 分钟前
MySQL面试题——第一篇
数据库·mysql
趋势大仙1 小时前
SQLiteDatabase insert or replace数据不生效
android·数据库
丁总学Java1 小时前
如何使用 maxwell 同步到 redis?
数据库·redis·缓存
爱吃南瓜的北瓜1 小时前
Redis的Key的过期策略是怎样实现的?
数据库·redis·bootstrap
一心只为学1 小时前
Oracle密码过期问题,设置永不过期
数据库·oracle