RabbitMQ发布订阅模式同一消费者多个实例如何防止重复消费?

微服务架构模式中,服务间的通信一般采用HTTP、RPC或者MQ(消息队列)。在这三种方案中,HTTP和RPC是一对一的方式,通常用来进行查询或者命令式的操作,MQ则多用于事件的发布和处理。

在实际项目中我们通常会遇到一种情况:

事件有多个订阅者,有的订阅者部署多个实例,要求每个事件只需要发布一次,每个订阅者都要能收到且仅能有其中一个实例收到并进行处理。

简单说就是既要所有订阅者都能收到消息,又要保证每个订阅者只能消费一次,不能重复消费。那么在使用RabbitMQ作为消息中间件时应该如何处理这个问题?

需求

微服务架构下使用RabbitMQ作为服务总线中间件,有这样一种场景,订单服务在用户提交订单后会发送OrderCreatedEvent事件,需要接收此事件的服务有以下几个:

1、日志服务(单点部署);

2、消息系统,给用户发送短信、邮件(单点部署);

3、仓储系统,接收通知备货,扣减库存等(多实例,有负载均衡),同一条消息仅允许一个实例消费;

4、财务系统,记录收入流水(多实例,有负载均衡),同一条消息仅允许一个实例消费;

5、BI系统,做销售统计等;

问题

OrderCreatedEvent发出后,5个服务均可以接收到消息并进行处理,但是仓储和财务部署了多个实例,也就意味着每个实例都能收到相同的消息,这种情况下如何避免重复消费?

方案

  1. OrderCreatedEvent事件建立一个fanout exchange

  2. 每个需要处理OrderCreatedEvent的订阅者单独建立一个queue,订阅者的所有实例都消费这一个queue的消息。

  3. 将所有OrderCreatedEvent订阅者的queue都bind到第一步建立的exchange上。

  4. 事件发布者将OrderCreatedEvent消息发布到exchange,由exchange将消息路由到对应的queue,最后由queue锁定一个消费者实例并进行投递。

以下是示意图

四种主要 Exchange 类型

RabbitMQ主要有四种核心的Exchange类型:Fanout(广播)、Direct(精确匹配)、Topic(模式匹配)和Headers(按头匹配),它们决定了消息如何从交换机路由到队列,其中Direct、Topic、Fanout最常用,而Headers和一些插件类型(如x-delayed-message)提供更灵活的路由功能。

  1. Fanout (扇出)

    • 特点:将消息广播到所有绑定到它的队列。
    • 路由规则:忽略路由键 (Routing Key)。
    • 场景:适用于日志系统、通知广播等需要消息分发到多个消费者的场景。
  2. Direct (直连)

    • 特点:消息根据与队列绑定的精确路由键来路由。
    • 路由规则消息的 Routing Key 必须完全 匹配 队列绑定的 Routing Key
    • 场景:一个消费者处理特定类型的任务,如处理"用户注册"消息。
  3. Topic (主题)

    • 特点 :使用通配符(* 匹配一个词,# 匹配零个或多个词)进行模式匹配路由。
    • 路由规则消息的 Routing Key 模式需要与 队列绑定的模式 匹配。
    • 场景 :日志级别过滤,如logs.info.* 匹配所有 info 级别的日志,logs.# 匹配所有日志.
  4. Headers (头部)

    • 特点:根据消息的 Headers 属性(键值对)进行路由,而不是 Routing Key。
    • 路由规则:匹配消息 Headers 中的键值对与绑定时设置的键值对。
    • 场景:当需要根据复杂属性匹配时,较少使用,因为性能不如前三者。

Demo

后面我将会提供以上方案的具体实现,包含Java.net两种版本。

相关推荐
小镇敲码人13 分钟前
华为CANN框架中HCCL仓库的全面解析:分布式通信的引擎
分布式·华为
User_芊芊君子1 小时前
【分布式训练】CANN SHMEM跨设备内存通信库:构建高效多机多卡训练的关键组件
分布式·深度学习·神经网络·wpf
酷酷的崽7981 小时前
CANN 开源生态解析(四):`cann-dist-train` —— 构建高效可扩展的分布式训练引擎
分布式·开源
惊讶的猫2 小时前
AMQP 与 RabbitMQ 四大模型
分布式·rabbitmq
灰子学技术2 小时前
istio从0到1:如何解决分布式配置同步问题
分布式·云原生·istio
小马爱打代码3 小时前
ZooKeeper:入门实战
分布式·zookeeper·云原生
永远都不秃头的程序员(互关)3 小时前
CANN赋能AIGC分布式训练:硬核通信,加速大模型智能生成新纪元
分布式·aigc
像少年啦飞驰点、4 小时前
从零开始学 RabbitMQ:小白也能懂的消息队列实战指南
java·spring boot·微服务·消息队列·rabbitmq·异步编程
lekami_兰4 小时前
RabbitMQ 延迟队列实现指南:两种方案手把手教你搞定
后端·rabbitmq·延迟队列
杜子不疼.5 小时前
CANN集合通信库HCCL的大规模分布式训练通信优化与拓扑感知实践
分布式