RabbitMQ消息的重复消费问题如何解决?

在RabbitMQ中,消息重复消费是一个常见问题,它通常发生在消费者处理消息时出现网络波动、节点故障或消费者自身处理逻辑异常,ACK 失败等情况,都会导致RabbitMQ 不能够正确感知消息已被成功处理,从而重新投递消息。以下是几种常见的解决RabbitMQ消息重复消费问题的方法:

消息幂等性处理(业务上)

  • 幂等性是指对同一操作的多次执行所产生的影响与一次执行的影响相同。在消息处理场景中,意味着无论消息被消费多少次,对业务的最终影响是一致的。
  • 消费者 在业务逻辑中通过记录已处理消息的标识来保证幂等性。比如维护一个内存中的Set集合,每次处理消息前,先检查消息的唯一标识是否已在集合中。如果已存在,则说明该消息已被处理过,直接返回;如果不存在,则处理消息并将标识添加到集合中。
java 复制代码
public class MessageProcessor {
    // 已消费的消息
    private static final Set<String> processedMessages = new HashSet<>();

    public void processMessage(String messageId, String messageContent) {
        if (processedMessages.contains(messageId)) {
            // 消息已处理过,直接返回
            return;
        }
        // 处理消息
        System.out.println("处理消息:" + messageContent);
        // 将消息标识添加到已处理集合
        processedMessages.add(messageId);
    }
}
  • 利用缓存(如Redis)来记录已处理消息的标识。每次消费消息时,先查询缓存中是否已存在该消息标识。如果存在,说明消息已被处理过,直接丢弃;如果不存在,则处理消息,并将消息标识存入缓存。缓存可以设置过期时间,以避免缓存数据无限增长。
  • 或者建立消息去重表,将已经处理过的消息的唯一键记录在数据库,每次去数据库查询是否处理过此消息。

使用 RabbitMQ 的确认机制

  • RabbitMQ提供了两种确认机制,分别是自动确认(autoAck=true)和手动确认(autoAck=false)。自动确认模式下,RabbitMQ在消息发送给消费者后,会立即认为消息已被成功消费,这种模式可能导致消息重复消费。所以需要进行手动确认,消费者处理完消息后,需要显式地调用basicAck方法通知RabbitMQ消息已被成功处理。如果消费者在处理消息过程中出现异常或未发送basicAck,RabbitMQ会认为消息未被成功消费,从而重新投递消息。
java 复制代码
public class ManualAckConsumer {
    private static final String QUEUE_NAME = "normal_ack_queue";

    public static void main(String[] argv) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");
        Connection connection = factory.newConnection();
        Channel channel = connection.createChannel();

        channel.queueDeclare(QUEUE_NAME, false, false, false, null);
        // 设置为手动确认模式
        boolean autoAck = false;
        channel.basicConsume(QUEUE_NAME, autoAck, "normal-ack-consumer",
                false, false, null, new DefaultConsumer(channel) {
                    @Override
                    public void handleDelivery(String consumerTag,
                                               Envelope envelope,
                                               AMQP.BasicProperties properties,
                                               byte[] body) throws IOException {
                        String message = new String(body, "UTF - 8");
                        System.out.println(" [x] 收到消息: '" + message + "'");
                        try {
                            // 模拟消息处理
                            Thread.sleep(1000);
                            // 手动确认消息
                            channel.basicAck(envelope.getDeliveryTag(), false);
                            System.out.println(" [x] 消息确认成功");
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        }
                    }
                });
    }
}

使用 RabbitMQ 的 Message Deduplication 插件

在消息属性中增加唯一 ID,Message Deduplication 插件基于生产者发送消息时携带的唯一 ID,在 RabbitMQ 服务器端对消息进行去重处理。它会维护一个去重表(通常存储在内存或磁盘,取决于配置),记录已经处理过的消息 ID。当新消息到达时,插件会检查去重表,若发现消息 ID 已存在,则丢弃该消息;否则,将消息 ID 记录到去重表并正常处理消息。

相关推荐
一路向北North5 小时前
使用reactor-rabbitmq库监听Rabbitmq
分布式·rabbitmq·ruby
Amy1870211182310 小时前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式
June bug14 小时前
【软考中级·软件评测师】下午题·面向对象测试之架构考点全析:分层、分布式、微内核与事件驱动
经验分享·分布式·职场和发展·架构·学习方法·测试·软考
阿波罗.201215 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
Bug退退退12316 小时前
RabbitMQ 工作模式
java·分布式·rabbitmq
weixin_4383354016 小时前
分布式锁实现方式:基于Redis的分布式锁实现(Spring Boot + Redis)
数据库·redis·分布式
危险、21 小时前
RabbitMQ 通过HTTP API删除队列命令
分布式·http·rabbitmq
周某某~21 小时前
windows安装RabbitMQ
分布式·rabbitmq
Bug退退退12321 小时前
RabbitMQ 高级特性之消息确认
java·分布式·rabbitmq
一只程序汪1 天前
【如何实现分布式压测中间件】
分布式·中间件