RabbitMQ应用问题 - 幂等性保障

文章目录

幂等性保障


理论

在应用程序中,幂等性简单来讲就是,一个方法无论被调用多少次,都不会改变第一次调用后的结果.

a)幂等案例:

redis 中的 setnx 操作,表示如果 key 不存在,则设置,如果 key 存在则不设置.

假设 key 不存在,那么通过 setnx 操作后,就会成功设置 key,并且在这之后无论多少次调用 setnx,都不会在影响第一次调用 setnx 操作后的结果.

b)非幂等案例:

i++ 这个操作就是非幂等的.

假设 i 初始为 0, 第一次调用后会 i = 1,并且后面每次调用都会影响第一调用后的结果(第二次 i++ ,i 就等于 2).

MQ 的幂等性

a)基本概念

对于 MQ 而言,幂等性就是指统一消息,无论被消费多少次,都不会改变第一次消费后的结果.

一般消息中间件的消息传输保证分为 三个层级:

  • At most once:同一个消息最多被一次消费一次. 消息可能会丢失,但肯定会重复传输.
  • At least once:同一个消息最少被一次消费一次. 消息肯定不会丢失,但可能会重复传输.
  • Exactly once:同一个消息恰好被消费一次. 每条消息肯定肯定不会丢失,并且只传输一次.

Ps:RabbitMQ 支持 At most onceAt least once.(不可能有任何一个 MQ 支持 Exactly once).

因此,对于可靠性要求高的场景,建议使用 At most once

b)哪些场景会导致消息发送重复呢?

  • 生产者发送消息时重复:当开启了生产者确认机制后(例如 confirm),那么当 交换机 成功接收到消息,就会返回 ack,但是由于网络问题,导致生产者没有接收到 ack,那么生产者就会重发消息.
  • 队列给消费者投递时重复:当开启了消费者确认机制后,那么当 消费者 成功接收到消息并正确处理后,就会返回 ack,但是由于网络问题,导致 ack 没有返回给 mq,mq 就会就会重发消息.

幂等性的保障方案

MQ 消费者幂等性的解决方案主要有以下两种:

Note:全局唯一ID 这个方案基本上就覆盖了 90% 的应用场景. 可能网上也还有很多其他资料描述其他的方法,但基本上都是围绕 全局唯一ID 的拓展(本质的思想都一样).

a)全局唯一ID:

  • 给每个消息分配一个唯一ID,比如 UUID、MQ消息唯一ID...
  • 消费者接收到消息后,会先根据 id 判断这个消息是否被消费过(判断 id 是否存在),如果消费过,就放弃处理.
  • 如果没有消费过,消费者就处理消息,处理完成后,就把 id 保存起来(例如 Redis).

Ps:以上过程,使用 Redis 的 setnx 操作就可以保证幂等性 ->

  • setnx 返回 1,说明 key 不存在,设置成功,进而说明之前没有消费,正常消费即可.
  • setnx 返回 0,说明 key 存在,设置失败,进而说明之前消费过,抛弃这条消息.

b)业务逻辑判断:

例如订单系统,通过检查数据库中 status 字段(枚举),是否是已经付款的状态,如果已经付款,就抛弃该消息.

相关推荐
小坏讲微服务8 小时前
Spring Boot整合Redis注解,实战Redis注解使用
spring boot·redis·分布式·后端·spring cloud·微服务·mybatis
liudongyang12310 小时前
麒麟系统离线安装Rabbitmq
分布式·rabbitmq
冰芒芒14 小时前
Kafka-2 Kafka的特点
分布式·kafka
KYumii16 小时前
RabbitMQ快速上手
分布式·rabbitmq
快乐的流畅16 小时前
iChat:RabbitMQ封装
分布式·rabbitmq·ruby
xie_pin_an16 小时前
RabbitMQ 从入门到实战:核心特性、应用场景与高级用法全解析
分布式·rabbitmq
艾斯比的日常16 小时前
Kafka Partition 深度解析:原理、策略与实战优化
分布式·kafka
serendipity_hky18 小时前
【微服务 - easy视频 | day04】Seata解决分布式事务
java·spring boot·分布式·spring cloud·微服务·架构
回家路上绕了弯19 小时前
服务器大量请求超时?从网络到代码的全链路排查指南
分布式·后端
陈辛chenxin20 小时前
【大数据技术06】大数据技术
大数据·hadoop·分布式·python·信息可视化