架构师方案-数据库事务和消息的一致性方案

前言:

在传统的数据库应用中,数据库事务与消息的发送是独立的两个操作,如果数据库事务因为某种原因失败了,消息可能已经被发送出去了,这就导致了数据的不一致性。

方案1:下游服务过滤异常消息

在第3步中,如果发现分发的消息的业务唯一id在数据库不存在,就不执行业务操作

注意:这个并没有解决数据库事务和消息的一致性,只是从业务影响上,忽视程序异常(鸵鸟政策)

方案2:数据库事务提交之后,通过发布/订阅模式将消息发送给消息队列

arduino 复制代码
    private final ApplicationEventPublisher applicationEventPublisher;
    /**
     * 保存单据、并发送消息
     */
    @Transactional(rollbackFor = Exception.class)
    public void saveOrderAndPushMQ() {
        //业务省略
        expectedPayBillRepository.save(expectedPayBill);
        //这里发送事件里的方法并不是立刻执行的
        applicationEventPublisher.publishEvent(new BusinessTaskEvent("发送BusinessTask消息", expectedPayBill));
    }
scala 复制代码
public class BusinessTaskEvent extends ApplicationEvent {

    private static final long serialVersionUID = -6206752641309458207L;
    public BusinessTask getBusinessTask() {
        return businessTask;
    }

    private ExpectedPayBill expectedPayBill;

    public BusinessTaskEvent(Object source, ExpectedPayBill expectedPayBill) {
        super(source);
        this.expectedPayBill = expectedPayBill;
    }
}

真正发送事件

less 复制代码
@Component
@RequiredArgsConstructor
@Slf4j
public class TaskListener {

    /**
     * 阿里云kafka
     */
    private final AliYunKafkaProducer aliYunKafkaProducer;

    @TransactionalEventListener(phase = TransactionPhase.AFTER_COMMIT)
    public void createPayableStatementTask(BusinessTaskEvent businessTaskEvent) {
        //业务省略
        ExpectedPayBill expectedPayBill = businessTaskEvent.getExpectedPayBill();
        // 发送消息触发任务执行
        aliYunKafkaProducer.send(getMessageTopic(), JSON.toJSONString(expectedPayBill));
    }

}

核心注解 @TransactionalEventListener(phase = TransactionPhase.AFTER_COMMIT)

方案3:监听数据库binlog变更,再发送事件

方案 实现复杂度 优劣
下游服务过滤异常消息 简单 这个并没有解决数据库事务和消息的一致性,容易给下游造成误导
数据库事务提交之后,通过发布/订阅模式将消息发送给消息队列 简单 需要依赖事务框架
监听数据库binlog变更,再发送事件 复杂 引入中间件,增加系统复杂度,但是业务和事件彻底解耦

参考

事务性发件箱模式:解决数据库事务和消息的一致性
canal使用
TransactionalEventListener解决事物提交与消息发送顺序问题
相关推荐
无名之逆4 分钟前
Hyperlane:高性能 Rust HTTP 服务器框架评测
服务器·开发语言·windows·后端·http·rust
M malloc9 分钟前
【C++奇遇记】C++中的进阶知识(继承(一))
java·jvm·c++
褚翾澜22 分钟前
Bash语言的社区交流
开发语言·后端·golang
Asthenia041229 分钟前
JUC:CompletableFuture 详细用法讲解
后端
侧耳倾听1111 小时前
单元测试之mockito
java·单元测试
苹果酱05671 小时前
SpringCloud第二篇:注册中心Eureka
java·vue.js·spring boot·mysql·课程设计
freejackman1 小时前
MySQL 基础入门
数据库·后端·sql·mysql
圈圈编码1 小时前
WebSocket
java·网络·spring boot·websocket·网络协议·spring
szuaudi1 小时前
SpringMVC实现text/event-stream(SSE)
java·spring
Asthenia04121 小时前
一名实习生的复盘:技术与规划的经验教训
后端