RabbitMQ应用问题 - 幂等性保障

文章目录

幂等性保障


理论

在应用程序中,幂等性简单来讲就是,一个方法无论被调用多少次,都不会改变第一次调用后的结果.

a)幂等案例:

redis 中的 setnx 操作,表示如果 key 不存在,则设置,如果 key 存在则不设置.

假设 key 不存在,那么通过 setnx 操作后,就会成功设置 key,并且在这之后无论多少次调用 setnx,都不会在影响第一次调用 setnx 操作后的结果.

b)非幂等案例:

i++ 这个操作就是非幂等的.

假设 i 初始为 0, 第一次调用后会 i = 1,并且后面每次调用都会影响第一调用后的结果(第二次 i++ ,i 就等于 2).

MQ 的幂等性

a)基本概念

对于 MQ 而言,幂等性就是指统一消息,无论被消费多少次,都不会改变第一次消费后的结果.

一般消息中间件的消息传输保证分为 三个层级:

  • At most once:同一个消息最多被一次消费一次. 消息可能会丢失,但肯定会重复传输.
  • At least once:同一个消息最少被一次消费一次. 消息肯定不会丢失,但可能会重复传输.
  • Exactly once:同一个消息恰好被消费一次. 每条消息肯定肯定不会丢失,并且只传输一次.

Ps:RabbitMQ 支持 At most onceAt least once.(不可能有任何一个 MQ 支持 Exactly once).

因此,对于可靠性要求高的场景,建议使用 At most once

b)哪些场景会导致消息发送重复呢?

  • 生产者发送消息时重复:当开启了生产者确认机制后(例如 confirm),那么当 交换机 成功接收到消息,就会返回 ack,但是由于网络问题,导致生产者没有接收到 ack,那么生产者就会重发消息.
  • 队列给消费者投递时重复:当开启了消费者确认机制后,那么当 消费者 成功接收到消息并正确处理后,就会返回 ack,但是由于网络问题,导致 ack 没有返回给 mq,mq 就会就会重发消息.

幂等性的保障方案

MQ 消费者幂等性的解决方案主要有以下两种:

Note:全局唯一ID 这个方案基本上就覆盖了 90% 的应用场景. 可能网上也还有很多其他资料描述其他的方法,但基本上都是围绕 全局唯一ID 的拓展(本质的思想都一样).

a)全局唯一ID:

  • 给每个消息分配一个唯一ID,比如 UUID、MQ消息唯一ID...
  • 消费者接收到消息后,会先根据 id 判断这个消息是否被消费过(判断 id 是否存在),如果消费过,就放弃处理.
  • 如果没有消费过,消费者就处理消息,处理完成后,就把 id 保存起来(例如 Redis).

Ps:以上过程,使用 Redis 的 setnx 操作就可以保证幂等性 ->

  • setnx 返回 1,说明 key 不存在,设置成功,进而说明之前没有消费,正常消费即可.
  • setnx 返回 0,说明 key 存在,设置失败,进而说明之前消费过,抛弃这条消息.

b)业务逻辑判断:

例如订单系统,通过检查数据库中 status 字段(枚举),是否是已经付款的状态,如果已经付款,就抛弃该消息.

相关推荐
難釋懷36 分钟前
分布式锁的原子性问题
分布式
ai_xiaogui2 小时前
【开源前瞻】从“咸鱼”到“超级个体”:谈谈 Panelai 分布式子服务器管理系统的设计架构与 UI 演进
服务器·分布式·架构·分布式架构·panelai·开源面板·ai工具开发
凯子坚持 c2 小时前
如何基于 CANN 原生能力,构建一个支持 QoS 感知的 LLM 推理调度器
分布式
飞升不如收破烂~2 小时前
Redis 分布式锁+接口幂等性使用+当下流行的限流方案「落地实操」+用户连续点击两下按钮的解决方案自用总结
数据库·redis·分布式
无心水2 小时前
分布式定时任务与SELECT FOR UPDATE:从致命陷阱到优雅解决方案(实战案例+架构演进)
服务器·人工智能·分布式·后端·spring·架构·wpf
Lansonli3 小时前
大数据Spark(八十):Action行动算子fold和aggregate使用案例
大数据·分布式·spark
闻哥3 小时前
Kafka高吞吐量核心揭秘:四大技术架构深度解析
java·jvm·面试·kafka·rabbitmq·springboot
invicinble4 小时前
对于分布式的原子能力
分布式
心态还需努力呀13 小时前
CANN仓库通信库:分布式训练的梯度压缩技术
分布式·cann