订单写入数据库之后还要发消息。如果消息发送成功、数据库却回滚,消费者会看到不存在的订单;如果数据库提交后应用宕机,消息又可能永远发不出去。本文以 Spring Boot 3、Java 17、MySQL 8 和 Spring JDBC 为例,讲清故障窗口、事务监听器、Outbox、并发认领、幂等消费和验证策略。
一、为什么一个 @Transactional 不够
1.1 发送消息不是数据库事务的一部分
java
@Transactional
public void create(CreateCommand cmd) {
orders.insert(cmd);
sender.send("order.created", cmd.id());
}
上面代码即使数据库回滚,外部 broker 已接收的消息也不会随之撤销。调换顺序也不行:先提交订单再发送,两个动作之间仍可能崩溃。
| 故障时刻 | 数据库 | 消息 | 风险 |
|---|---|---|---|
| 消息成功,数据库回滚 | 无订单 | 已投递 | 幽灵事件 |
| 数据库提交,发送前宕机 | 有订单 | 未投递 | 丢事件 |
| 发送成功,确认前超时 | 有订单 | 状态未知 | 重试重复 |
| 消费成功,ACK 前宕机 | 已处理 | 重新投递 | 重复副作用 |
核心问题: 数据库事务只能保护其参与的本地资源,不能自动保护网络发送。
1.2 @TransactionalEventListener 的边界
java
public record OrderCreated(long orderId) {}
@Component
@RequiredArgsConstructor
class OrderListener {
private final MessageSender sender;
@TransactionalEventListener(phase = TransactionPhase.AFTER_COMMIT)
public void on(OrderCreated event) {
sender.send("order.created", Long.toString(event.orderId()));
}
}
业务事务内通过 ApplicationEventPublisher 发布事件,监听器在提交成功后触发,避免回滚事务继续发消息。但提交与回调执行之间仍有进程崩溃窗口;回调发送失败也无法撤销已提交的订单。加 @Async 只是异步执行,不是持久化可靠队列。
Spring 官方还提醒:AFTER_COMMIT 时数据库资源可能仍可访问,但继续写入可能不被提交;如果必须做独立数据库写入,应通过代理调用另一个 REQUIRES_NEW 事务方法。没有事务时监听器默认不执行,除非显式启用 fallbackExecution。
二、Outbox 让订单和待投递事件一起提交
2.1 两张表与状态机
sql
CREATE TABLE orders (
id BIGINT PRIMARY KEY,
buyer_id BIGINT NOT NULL,
amount_cent BIGINT NOT NULL,
created_at DATETIME(3) NOT NULL
) ENGINE=InnoDB COMMENT='订单';
CREATE TABLE event_outbox (
id BIGINT PRIMARY KEY,
aggregate_id BIGINT NOT NULL,
event_type VARCHAR(80) NOT NULL,
payload JSON NOT NULL,
status VARCHAR(16) NOT NULL DEFAULT 'PENDING',
attempts INT NOT NULL DEFAULT 0,
next_attempt_at DATETIME(3) NOT NULL,
worker_id VARCHAR(64) NULL,
lease_until DATETIME(3) NULL,
lease_version BIGINT NOT NULL DEFAULT 0,
created_at DATETIME(3) NOT NULL,
sent_at DATETIME(3) NULL,
KEY idx_pending (status, next_attempt_at, id),
KEY idx_lease (status, lease_until)
) ENGINE=InnoDB COMMENT='事务消息待投递';
PENDING 表示待投递,SENDING 表示被某个 worker 认领,SENT 表示 broker 已确认,DEAD 表示超过重试上限需人工介入。示例由调用方提供唯一事件 ID,真实系统可统一使用雪花 ID 或数据库自增主键。
2.2 同一个 Spring 事务写入两条记录
java
@Service
@RequiredArgsConstructor
public class CheckoutService {
private final JdbcTemplate jdbc;
private final ObjectMapper mapper;
@Transactional(rollbackFor = Exception.class)
public void checkout(long orderId, long buyerId,
long amountCent, long eventId)
throws JsonProcessingException {
String payload = mapper.writeValueAsString(Map.of(
"eventId", eventId, "orderId", orderId,
"buyerId", buyerId));
jdbc.update("""
INSERT INTO orders(id,buyer_id,amount_cent,created_at)
VALUES(?,?,?,UTC_TIMESTAMP(3))
""", orderId, buyerId, amountCent);
jdbc.update("""
INSERT INTO event_outbox
(id,aggregate_id,event_type,payload,status,
next_attempt_at,created_at)
VALUES (?,?,'order.created',?,'PENDING',
UTC_TIMESTAMP(3),UTC_TIMESTAMP(3))
""", eventId, orderId, payload);
}
}
两个 INSERT 使用同一个事务管理器、同一个 MySQL 数据源,才能原子提交或回滚。不要把 Outbox 写到另一数据库后仍宣称原子性。订单接口还应设计业务幂等键,防止客户端重试创建两笔订单。
为什么显式 rollbackFor? Spring 默认对 RuntimeException、Error 回滚,但并非所有受检异常;这里显式覆盖序列化等受检异常。
三、多实例轮询如何避免重复抢单
3.1 用短事务认领,不能持锁发送网络请求
sql
START TRANSACTION;
SELECT id
FROM event_outbox
WHERE status='PENDING'
AND next_attempt_at <= UTC_TIMESTAMP(3)
ORDER BY next_attempt_at,id
LIMIT 50
FOR UPDATE SKIP LOCKED;
-- 应用在同一事务中把返回的 ID 更新为 SENDING,
-- 写入 worker_id、lease_until,lease_version=lease_version+1
COMMIT;
这是 SQL 认领协议片段,不是完整调度器。Java 中必须让 SELECT 和 UPDATE 在同一个 @Transactional 方法内执行,且只更新本次锁定的 ID。MySQL 8 的 SKIP LOCKED 适合队列式读取,但跳过锁定行意味着结果不保证严格顺序。
3.2 发送确认和 fencing token
认领后提交事务,再调用消息中间件;收到明确的发布确认后,按 ID、worker_id 和 lease_version 条件更新 SENT:
sql
UPDATE event_outbox
SET status='SENT',sent_at=UTC_TIMESTAMP(3),
lease_until=NULL
WHERE id=? AND status='SENDING'
AND worker_id=? AND lease_version=?;
影响行数为零说明该 worker 已失去认领权,不能继续修改状态。失败时按指数退避加随机抖动更新 next_attempt_at;超过上限转 DEAD 并告警。过期租约可回收,但租约过期不等于消息未发送。
四、为什么 Outbox 依然会重复
4.1 发送成功但标记 SENT 前宕机
text
订单与 Outbox 提交
↓
worker 发送成功
↓
worker 宕机,未写 SENT
↓
租约到期,另一 worker 重发
↓
消费者收到相同 eventId 两次
Outbox 保证订单与"待发送意图"一起持久化;结合重试可实现至少一次投递,而不是天然恰好一次。
4.2 消费端唯一键去重
sql
CREATE TABLE processed_event (
consumer_name VARCHAR(80) NOT NULL,
event_id BIGINT NOT NULL,
processed_at DATETIME(3) NOT NULL,
PRIMARY KEY(consumer_name,event_id)
) ENGINE=InnoDB;
java
@Transactional
public void consume(long eventId, long orderId) {
int inserted = jdbc.update("""
INSERT IGNORE INTO processed_event
(consumer_name,event_id,processed_at)
VALUES('order-projection',?,UTC_TIMESTAMP(3))
""", eventId);
if (inserted == 0) return;
jdbc.update("""
INSERT INTO order_projection(order_id,state)
VALUES(?,'CREATED')
ON DUPLICATE KEY UPDATE state=VALUES(state)
""", orderId);
}
假定 order_projection 已建表,且它与 processed_event 在同一事务数据库。去重记录与业务副作用必须一起提交;外部短信、支付等副作用还需要对方支持的幂等键或补偿机制。INSERT IGNORE 可能掩盖其他数据错误,生产建议精确捕获唯一键冲突。
五、用故障注入证明方案有效
| 测试 | 预期行为 | 核查点 |
|---|---|---|
| Outbox INSERT 故意失败 | 订单也回滚 | 两张表均无记录 |
| 提交后立刻终止进程 | 事件仍待发送 | PENDING 可恢复 |
| 两个 worker 并发认领 | 不会同时持有有效租约 | worker_id、version |
| 发出后、更新 SENT 前宕机 | 允许重复投递 | 消费端只生效一次 |
| broker 长时间不可用 | 退避、死信、报警 | attempts、DEAD |
| 老 worker 在租约过期后确认 | 更新失败 | fencing token |
这些是待执行的验证方案,不是已运行的测试报告。实际测试需要 MySQL、broker、两个 worker 和可观测的消费者,不能只看应用日志。
上线至少监控:PENDING 数量、最老事件年龄、过期租约数、DEAD 数量、投递延迟和重试率。还要考虑同一订单事件顺序、SENT 数据归档、死信人工重放与审计。
六、何时用监听器,何时用 Outbox
普通缓存刷新、非关键通知可考虑 AFTER_COMMIT;订单、支付、库存等需要可靠通知的业务,应优先评估 Outbox 或 Outbox + CDC。CDC 负责搬运变更,并不自动消除重复消费。跨服务最终一致性还需要幂等、补偿和业务状态机。
结论: 不要用"方法加了 @Transactional"证明跨系统一致性。可靠投递的完整闭环是:同事务写入、短事务认领、发布确认、失败重试、租约恢复、消费者幂等和可观测补偿。