架构师方案-数据库事务和消息的一致性方案

前言:

在传统的数据库应用中,数据库事务与消息的发送是独立的两个操作,如果数据库事务因为某种原因失败了,消息可能已经被发送出去了,这就导致了数据的不一致性。

方案1:下游服务过滤异常消息

在第3步中,如果发现分发的消息的业务唯一id在数据库不存在,就不执行业务操作

注意:这个并没有解决数据库事务和消息的一致性,只是从业务影响上,忽视程序异常(鸵鸟政策)

方案2:数据库事务提交之后,通过发布/订阅模式将消息发送给消息队列

arduino 复制代码
    private final ApplicationEventPublisher applicationEventPublisher;
    /**
     * 保存单据、并发送消息
     */
    @Transactional(rollbackFor = Exception.class)
    public void saveOrderAndPushMQ() {
        //业务省略
        expectedPayBillRepository.save(expectedPayBill);
        //这里发送事件里的方法并不是立刻执行的
        applicationEventPublisher.publishEvent(new BusinessTaskEvent("发送BusinessTask消息", expectedPayBill));
    }
scala 复制代码
public class BusinessTaskEvent extends ApplicationEvent {

    private static final long serialVersionUID = -6206752641309458207L;
    public BusinessTask getBusinessTask() {
        return businessTask;
    }

    private ExpectedPayBill expectedPayBill;

    public BusinessTaskEvent(Object source, ExpectedPayBill expectedPayBill) {
        super(source);
        this.expectedPayBill = expectedPayBill;
    }
}

真正发送事件

less 复制代码
@Component
@RequiredArgsConstructor
@Slf4j
public class TaskListener {

    /**
     * 阿里云kafka
     */
    private final AliYunKafkaProducer aliYunKafkaProducer;

    @TransactionalEventListener(phase = TransactionPhase.AFTER_COMMIT)
    public void createPayableStatementTask(BusinessTaskEvent businessTaskEvent) {
        //业务省略
        ExpectedPayBill expectedPayBill = businessTaskEvent.getExpectedPayBill();
        // 发送消息触发任务执行
        aliYunKafkaProducer.send(getMessageTopic(), JSON.toJSONString(expectedPayBill));
    }

}

核心注解 @TransactionalEventListener(phase = TransactionPhase.AFTER_COMMIT)

方案3:监听数据库binlog变更,再发送事件

方案 实现复杂度 优劣
下游服务过滤异常消息 简单 这个并没有解决数据库事务和消息的一致性,容易给下游造成误导
数据库事务提交之后,通过发布/订阅模式将消息发送给消息队列 简单 需要依赖事务框架
监听数据库binlog变更,再发送事件 复杂 引入中间件,增加系统复杂度,但是业务和事件彻底解耦

参考

事务性发件箱模式:解决数据库事务和消息的一致性
canal使用
TransactionalEventListener解决事物提交与消息发送顺序问题
相关推荐
float_六七5 小时前
IntelliJ IDEA双击Ctrl的妙用
java·ide·intellij-idea
能摆一天是一天6 小时前
JAVA stream().flatMap()
java·windows
颜如玉7 小时前
🤲🏻🤲🏻🤲🏻临时重定向一定要能重定向🤲🏻🤲🏻🤲🏻
java·http·源码
程序员爱钓鱼8 小时前
Go语言实战案例 — 工具开发篇:实现一个图片批量压缩工具
后端·google·go
程序员的世界你不懂8 小时前
【Flask】测试平台开发,新增说明书编写和展示功能 第二十三篇
java·前端·数据库
星空寻流年9 小时前
设计模式第一章(建造者模式)
java·设计模式·建造者模式
程序员不迷路9 小时前
湖仓一体学习-数据架构演进路线
架构
gb42152879 小时前
java中将租户ID包装为JSQLParser的StringValue表达式对象,JSQLParser指的是?
java·开发语言·python
曾经的三心草10 小时前
Python2-工具安装使用-anaconda-jupyter-PyCharm-Matplotlib
android·java·服务器
Metaphor69210 小时前
Java 高效处理 Word 文档:查找并替换文本的全面指南
java·经验分享·word