Spring Boot 事务提交后消息仍会丢?TransactionalEventListener 与 Outbox 可靠投递实战

订单写入数据库之后还要发消息。如果消息发送成功、数据库却回滚,消费者会看到不存在的订单;如果数据库提交后应用宕机,消息又可能永远发不出去。本文以 Spring Boot 3、Java 17、MySQL 8 和 Spring JDBC 为例,讲清故障窗口、事务监听器、Outbox、并发认领、幂等消费和验证策略。

一、为什么一个 @Transactional 不够

1.1 发送消息不是数据库事务的一部分

java 复制代码
@Transactional
public void create(CreateCommand cmd) {
    orders.insert(cmd);
    sender.send("order.created", cmd.id());
}

上面代码即使数据库回滚,外部 broker 已接收的消息也不会随之撤销。调换顺序也不行:先提交订单再发送,两个动作之间仍可能崩溃。

故障时刻 数据库 消息 风险
消息成功,数据库回滚 无订单 已投递 幽灵事件
数据库提交,发送前宕机 有订单 未投递 丢事件
发送成功,确认前超时 有订单 状态未知 重试重复
消费成功,ACK 前宕机 已处理 重新投递 重复副作用

核心问题: 数据库事务只能保护其参与的本地资源,不能自动保护网络发送。

1.2 @TransactionalEventListener 的边界

java 复制代码
public record OrderCreated(long orderId) {}

@Component
@RequiredArgsConstructor
class OrderListener {
    private final MessageSender sender;

    @TransactionalEventListener(phase = TransactionPhase.AFTER_COMMIT)
    public void on(OrderCreated event) {
        sender.send("order.created", Long.toString(event.orderId()));
    }
}

业务事务内通过 ApplicationEventPublisher 发布事件,监听器在提交成功后触发,避免回滚事务继续发消息。但提交与回调执行之间仍有进程崩溃窗口;回调发送失败也无法撤销已提交的订单。加 @Async 只是异步执行,不是持久化可靠队列。

Spring 官方还提醒:AFTER_COMMIT 时数据库资源可能仍可访问,但继续写入可能不被提交;如果必须做独立数据库写入,应通过代理调用另一个 REQUIRES_NEW 事务方法。没有事务时监听器默认不执行,除非显式启用 fallbackExecution。

二、Outbox 让订单和待投递事件一起提交

2.1 两张表与状态机

sql 复制代码
CREATE TABLE orders (
    id BIGINT PRIMARY KEY,
    buyer_id BIGINT NOT NULL,
    amount_cent BIGINT NOT NULL,
    created_at DATETIME(3) NOT NULL
) ENGINE=InnoDB COMMENT='订单';

CREATE TABLE event_outbox (
    id BIGINT PRIMARY KEY,
    aggregate_id BIGINT NOT NULL,
    event_type VARCHAR(80) NOT NULL,
    payload JSON NOT NULL,
    status VARCHAR(16) NOT NULL DEFAULT 'PENDING',
    attempts INT NOT NULL DEFAULT 0,
    next_attempt_at DATETIME(3) NOT NULL,
    worker_id VARCHAR(64) NULL,
    lease_until DATETIME(3) NULL,
    lease_version BIGINT NOT NULL DEFAULT 0,
    created_at DATETIME(3) NOT NULL,
    sent_at DATETIME(3) NULL,
    KEY idx_pending (status, next_attempt_at, id),
    KEY idx_lease (status, lease_until)
) ENGINE=InnoDB COMMENT='事务消息待投递';

PENDING 表示待投递,SENDING 表示被某个 worker 认领,SENT 表示 broker 已确认,DEAD 表示超过重试上限需人工介入。示例由调用方提供唯一事件 ID,真实系统可统一使用雪花 ID 或数据库自增主键。

2.2 同一个 Spring 事务写入两条记录

java 复制代码
@Service
@RequiredArgsConstructor
public class CheckoutService {
    private final JdbcTemplate jdbc;
    private final ObjectMapper mapper;

    @Transactional(rollbackFor = Exception.class)
    public void checkout(long orderId, long buyerId,
                         long amountCent, long eventId)
            throws JsonProcessingException {
        String payload = mapper.writeValueAsString(Map.of(
            "eventId", eventId, "orderId", orderId,
            "buyerId", buyerId));

        jdbc.update("""
            INSERT INTO orders(id,buyer_id,amount_cent,created_at)
            VALUES(?,?,?,UTC_TIMESTAMP(3))
            """, orderId, buyerId, amountCent);

        jdbc.update("""
            INSERT INTO event_outbox
              (id,aggregate_id,event_type,payload,status,
               next_attempt_at,created_at)
            VALUES (?,?,'order.created',?,'PENDING',
                    UTC_TIMESTAMP(3),UTC_TIMESTAMP(3))
            """, eventId, orderId, payload);
    }
}

两个 INSERT 使用同一个事务管理器、同一个 MySQL 数据源,才能原子提交或回滚。不要把 Outbox 写到另一数据库后仍宣称原子性。订单接口还应设计业务幂等键,防止客户端重试创建两笔订单。

为什么显式 rollbackFor? Spring 默认对 RuntimeException、Error 回滚,但并非所有受检异常;这里显式覆盖序列化等受检异常。

三、多实例轮询如何避免重复抢单

3.1 用短事务认领,不能持锁发送网络请求

sql 复制代码
START TRANSACTION;
SELECT id
FROM event_outbox
WHERE status='PENDING'
  AND next_attempt_at <= UTC_TIMESTAMP(3)
ORDER BY next_attempt_at,id
LIMIT 50
FOR UPDATE SKIP LOCKED;
-- 应用在同一事务中把返回的 ID 更新为 SENDING,
-- 写入 worker_id、lease_until,lease_version=lease_version+1
COMMIT;

这是 SQL 认领协议片段,不是完整调度器。Java 中必须让 SELECT 和 UPDATE 在同一个 @Transactional 方法内执行,且只更新本次锁定的 ID。MySQL 8 的 SKIP LOCKED 适合队列式读取,但跳过锁定行意味着结果不保证严格顺序。

3.2 发送确认和 fencing token

认领后提交事务,再调用消息中间件;收到明确的发布确认后,按 ID、worker_id 和 lease_version 条件更新 SENT:

sql 复制代码
UPDATE event_outbox
SET status='SENT',sent_at=UTC_TIMESTAMP(3),
    lease_until=NULL
WHERE id=? AND status='SENDING'
  AND worker_id=? AND lease_version=?;

影响行数为零说明该 worker 已失去认领权,不能继续修改状态。失败时按指数退避加随机抖动更新 next_attempt_at;超过上限转 DEAD 并告警。过期租约可回收,但租约过期不等于消息未发送。

四、为什么 Outbox 依然会重复

4.1 发送成功但标记 SENT 前宕机

text 复制代码
订单与 Outbox 提交
    ↓
worker 发送成功
    ↓
worker 宕机,未写 SENT
    ↓
租约到期,另一 worker 重发
    ↓
消费者收到相同 eventId 两次

Outbox 保证订单与"待发送意图"一起持久化;结合重试可实现至少一次投递,而不是天然恰好一次。

4.2 消费端唯一键去重

sql 复制代码
CREATE TABLE processed_event (
    consumer_name VARCHAR(80) NOT NULL,
    event_id BIGINT NOT NULL,
    processed_at DATETIME(3) NOT NULL,
    PRIMARY KEY(consumer_name,event_id)
) ENGINE=InnoDB;
java 复制代码
@Transactional
public void consume(long eventId, long orderId) {
    int inserted = jdbc.update("""
        INSERT IGNORE INTO processed_event
        (consumer_name,event_id,processed_at)
        VALUES('order-projection',?,UTC_TIMESTAMP(3))
        """, eventId);
    if (inserted == 0) return;

    jdbc.update("""
        INSERT INTO order_projection(order_id,state)
        VALUES(?,'CREATED')
        ON DUPLICATE KEY UPDATE state=VALUES(state)
        """, orderId);
}

假定 order_projection 已建表,且它与 processed_event 在同一事务数据库。去重记录与业务副作用必须一起提交;外部短信、支付等副作用还需要对方支持的幂等键或补偿机制。INSERT IGNORE 可能掩盖其他数据错误,生产建议精确捕获唯一键冲突。

五、用故障注入证明方案有效

测试 预期行为 核查点
Outbox INSERT 故意失败 订单也回滚 两张表均无记录
提交后立刻终止进程 事件仍待发送 PENDING 可恢复
两个 worker 并发认领 不会同时持有有效租约 worker_id、version
发出后、更新 SENT 前宕机 允许重复投递 消费端只生效一次
broker 长时间不可用 退避、死信、报警 attempts、DEAD
老 worker 在租约过期后确认 更新失败 fencing token

这些是待执行的验证方案,不是已运行的测试报告。实际测试需要 MySQL、broker、两个 worker 和可观测的消费者,不能只看应用日志。

上线至少监控:PENDING 数量、最老事件年龄、过期租约数、DEAD 数量、投递延迟和重试率。还要考虑同一订单事件顺序、SENT 数据归档、死信人工重放与审计。

六、何时用监听器,何时用 Outbox

普通缓存刷新、非关键通知可考虑 AFTER_COMMIT;订单、支付、库存等需要可靠通知的业务,应优先评估 Outbox 或 Outbox + CDC。CDC 负责搬运变更,并不自动消除重复消费。跨服务最终一致性还需要幂等、补偿和业务状态机。

结论: 不要用"方法加了 @Transactional"证明跨系统一致性。可靠投递的完整闭环是:同事务写入、短事务认领、发布确认、失败重试、租约恢复、消费者幂等和可观测补偿。

七、官方参考

相关推荐
Java后端的Ai之路35 分钟前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
文丑颜不良啊1 小时前
LeetCode3081~3100题目解析
java·leetcode
SimonKing1 小时前
快讯!local-notes素笺笔记又又又更新了!
java·后端·程序员
Rain的Java大神之路1 小时前
面试官:设计一个自动售货机系统。我:别急着写代码,先问5个问题|状态机+防超卖+断电自愈,一套答法讲透
java·后端·面试
挖掘狂人1 小时前
飞书群聊已读,是怎么实现的?
java·程序员·架构
吴名氏.3 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
文丑颜不良啊12 小时前
LeetCode2981~3000题目解析
java·leetcode
nice_lcj52014 小时前
【从零理解 Spring AI · 13】RAG 要解决什么:把“闭卷考试“变成“开卷“
java·spring·检索增强·rag·spring ai·ai应用开发
学长毕设15 小时前
基于SpringBoot军事纪念馆管理系统设计与实现-附源码
java·spring boot·后端