消息队列RabbitMQ-使用过程中面临的问题与解决思路

消息队列在使用过程中会出现很多问题

首先就是消息的可靠性,也就是消息从发送到消费者接收,消息在这中间过程中可能会丢失

生产者到交换机的过程、交换机到队列的过程、消息队列中、消费者接收消息的过程中,这些过程中消息都可能会丢失。

这对上述过程,RabbitMQ分别对应的解决方案是生产者确认机制、持久化机制、消费者确认机制、消费者失败重试机制。

生产者确认机制,就是保证消息在生产者到交换机的过程、交换机到队列的过程不会丢失的机制。这种机制给每一个消息指定了唯一的ID,消息从生产者到交换机、从交换机到队列中的阶段都会返回一个结果,消息从生产者到交换机会通过返回一个布尔值来反馈消息是否送到了交换机,即发送者确认publisher-confirm。如果消息投递到了交换机但是没有到队列,就会返回ACK及路由失败原因,即发送者回执publisher-return。

持久化机制,就是保证消息在消息队列中不会丢失的机制。比如消息发送到RabbitMQ中,突然发生宕机,将会导致消息丢失。消息持久化机制包括:交换机持久化、队列持久化、消息持久化。默认情况下由SpringAMQP声明的交换机和队列都是持久化的。可以在RabbitMQ控制台上看到叫交换机和队列的features字段上标示D。利用SpringAMQP发送消息时,可以设置消息的属性MessageProperties,指定为delivery-mode。

消费者消息确认机制,在此机制下RabitMQ会根据消费者的回执来确认消费者是否成功处理消息,然后在确定是否删除消息。SpringAMQP确认模式默认是auto,由spring检测listenner代码是否出现异常,没异常返回ack,有异常返回nack。当然还有manual手动ack模式,和none无ack模式。unacked会在控制台queues中的messas中显示,并回复到Ready状态,不会被RabbitMQ删除、并且会重新投递。但是消息不断的重入队(发送消息、出现异常、在重入队),出现了死循环,这是就要依靠消费者失败重试机制了。

消费者失败重试机制主要实现靠两方面

1.将重入队利用Spring的retry机制改为本地重试,可以通过修改消费者服务模块的application.ym文件。

复制代码
spring:
  rabbitmq:
    listener:
      simple:
        retry:
          enabled: true # 开启消费者失败重试
          initial-interval: 1000 # 初始的失败等待时长为1000毫秒=1秒
          multiplier: 2 # 每次重试尝试时间间隔增加因子
          max-attempts: 3 # 最大重试次数,达到最大重试次数后,消息默认会被丢弃
          stateless: true # true无状态;false有状态。如果业务中包含事务,这里改为false

上述配置完成,触发本地重试,在重试3次后,SpringAMQP会抛出异常AmqpRejectAndDontRequeueException,并且控制台上消息被删除了,意味着SpringAMQP返回的是ack,mq删除消息了。

2.指定消息重试失败的失败策略,默认的是直接丢弃消息,也可以设置将其失败后重新入队(不建议,没意义),推荐的是将失败的消息投递到指定的队列,这个队列专门存放异常消息,后续方便人工处理。

相关推荐
qq_2975746717 分钟前
【Kafka 系列・入门第六篇】Kafka 集群部署(3 节点)+ 负载均衡配置
分布式·kafka·负载均衡
不懂的浪漫2 小时前
mqtt-plus 架构解析(一):分层架构与设计哲学
spring boot·分布式·物联网·mqtt·架构
渔民小镇2 小时前
一次编写到处对接 —— 为 Godot/Unity/React 生成统一交互接口
java·分布式·游戏·unity·godot
愈努力俞幸运3 小时前
docker入门,容器,镜像
java·分布式·docker
珠海西格电力3 小时前
红区光伏与零碳园区:管理系统如何破解分布式光伏并网困局
大数据·人工智能·分布式·物联网·能源
大大大大晴天️3 小时前
大数据分布式处理基石:分布式理论深度解析
大数据·分布式
枫叶林FYL4 小时前
【自然语言处理 NLP】8.2 Ring Attention 与分布式长上下文训练
人工智能·分布式·自然语言处理
薛定猫AI4 小时前
【深度解析】Meta Muse Spark:原生多模态推理模型与多智能体编排的工程化实践
大数据·分布式·spark
zshs0004 小时前
从 HashMap 到基因法:同一套位运算思想,如何从 JVM 走到分布式数据库
jvm·数据库·分布式
开心码农1号16 小时前
Java rabbitMQ如何发送、消费消息、全套可靠方案
java·rabbitmq·java-rabbitmq