21.发布确认模式-高级

重整旗鼓~2024-07-30 19:00

问题

生产环境中由于一些不明原因，导致rabbitmq重启，在重启的期间生产者消息投递失败，导致消息丢失，需要手动处理恢复。那么如何才能进行rabbitmq的消息可靠性投递？特别是在极端的情况，rabbitmq集群不可用的时候，无法投递的消息该如何处理？

例如这样的异常信息：

方案

生产者将发送的消息发给rabbitmq的同时，将消息备份到缓存中。如果rabbitmq宕机了。会有一个定时任务会对未成功发送的消息进行重新投递。如果交换机成功收到消息会从缓存中清除已收到的消息。

分析

造成消息丢失会有两种情况，一种是交换机故障，另一个中是队列故障。

交换机确认消息是否收到的解决办法

启用发布确认的配置

复制代码 
spring:
  rabbitmq:
    host: 192.168.171.128
    username: admin
    password: 123
    port: 5672
    publisher-confirm-type: correlated

默认是none值，是不开启的，禁用发布确认模式。

correlated，发布消息到交换机后会触发回调方法。

simple, 单个确认消息。

代码

配置类

java 复制代码 
package com.xkj.org.config;

import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class ConfirmConfig {

    //交换机
    public static final String EXCHANGE_NAME = "confirm.exchange";
    //队列
    public static final String QUEUE_NAME = "confirm.queue";
    //Routing Key
    public static final String ROUTING_KEY = "key1";

    @Bean
    public DirectExchange confirmExchange() {
        return new DirectExchange(EXCHANGE_NAME);
    }

    @Bean
    public Queue confirmQueue() {
        return QueueBuilder.durable(QUEUE_NAME).build();
    }

    @Bean
    public Binding bindingQueueToExchange(@Qualifier("confirmExchange") DirectExchange confirmExchange,
                                          @Qualifier("confirmQueue") Queue confirmQueue) {
        return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(ROUTING_KEY);

    }

}

回调接口

java 复制代码 
package com.xkj.org.config;

import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;

/**
 * 回调接口
 */
@Slf4j
@Component // 1.第一步实例化MyCallback这个bean
public class MyCallback implements RabbitTemplate.ConfirmCallback {

    @Autowired // 2.第二步将rabbitTemplate实例依赖注入进来
    private RabbitTemplate rabbitTemplate;

    @PostConstruct
    public void init() { //3.第三步执行此方法
        //将本类对象（ConfirmCallback的实现类对象）注入到RabbitTemplate中
        rabbitTemplate.setConfirmCallback(this);
    }

    /**
     * 交换机确认回调方法
     * @param correlationData
     * @param ack
     * @param cause
     * 1.发消息 交换机收到 调用
     *  1.1 correlationData 回调消息的id及相关信息
     *  1.2 交换机收到消息 ack = true
     *  1.3 cause null
     * 2.发消息 交换机接收失败 回调
     *  2.1 correlationData 回调消息的id及相关信息
     *  2.2 交换机收到消息 ack = false
     *  2.3 cause 失败的原因
     */
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        String id = correlationData != null ? correlationData.getId(): "";
        if(ack) {
            log.info("交换机已经接收到id为：{}的消息", id);
        }else {
            log.info("交换机还未收到id为：{}的消息，原因:{}", id, cause);
        }
    }
}

消费者

java 复制代码 
package com.xkj.org.listener;

import com.rabbitmq.client.Channel;
import com.xkj.org.config.ConfirmConfig;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;


@Slf4j
@Component
public class ConfirmQueueConsumer {

    @RabbitListener(queues = ConfirmConfig.QUEUE_NAME)
    public void receiveMsg(Message message, Channel channel) throws Exception {
        String msg = new String(message.getBody(), "UTF-8");
        log.info("收到队列的消息：{}",  msg);
    }
}

生产者

java 复制代码 
@ApiOperation("测试发布确认发消息")
    @GetMapping("/sendMessage/{msg}")
    public void sendMessage(@ApiParam(value = "消息内容", required = true)@PathVariable("msg") String message) {
        CorrelationData correlation = new CorrelationData("1");

        rabbitTemplate.convertAndSend("confirm.exchange", "key1", message, correlation);
        log.info("发送消息内容{}", message);
    }

结果

**小技巧：**如果要是测试交换机接收失败的回调，可以通过修改生产者发消息的交换机的名字为一个不存在的名字即可。

java 复制代码 
@ApiOperation("测试发布确认发消息")
    @GetMapping("/sendMessage/{msg}")
    public void sendMessage(@ApiParam(value = "消息内容", required = true)@PathVariable("msg") String message) {
        CorrelationData correlation = new CorrelationData("1");

        rabbitTemplate.convertAndSend("confirm.exchange"+"123", "key1", message, correlation);
        log.info("发送消息内容{}", message);
    }

问题：上面只能保证交换机收到消息的确认回调，不能保证队列收到消息的确认回调？

队列确认消息是否收到的解决办法

比如routingKey错了，或者队列出了问题，队列也将无法收到消息。

在仅开启生产者确认机制情况下，接换机接收到消息后，会直接给消息生产者发送确认消息。如果发现该消息不可路由，那么消息会直接丢弃，此时生产者是不知道消息被丢弃这个事件的。

解决办法

通过设置mandatory参数可以在当消息传递过程中不可达目的时将消息返回给生产者。

添加配置

复制代码 
spring:
  rabbitmq:
    host: 192.168.171.128
    username: admin
    password: 123
    port: 5672
    publisher-confirm-type: correlated
    publisher-returns: true

publiser-returns发布退回消息。

说明：这里为了测试故意把routingkey写错

代码

生产者

估计把routingKey改成错误的 key1123

java 复制代码 
@ApiOperation("测试发布确认发消息")
    @GetMapping("/sendMessage/{msg}")
    public void sendMessage(@ApiParam(value = "消息内容", required = true)@PathVariable("msg") String message) {
        CorrelationData correlation = new CorrelationData("1");

        rabbitTemplate.convertAndSend("confirm.exchange", "key1"+"123", message, correlation);
        log.info("发送消息内容{}", message);
    }

消费者

java 复制代码 
package com.xkj.org.listener;

import com.rabbitmq.client.Channel;
import com.xkj.org.config.ConfirmConfig;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;


@Slf4j
@Component
public class ConfirmQueueConsumer {

    @RabbitListener(queues = ConfirmConfig.QUEUE_NAME)
    public void receiveMsg(Message message, Channel channel) throws Exception {
        String msg = new String(message.getBody(), "UTF-8");
        log.info("收到队列的消息：{}",  msg);
    }
}

配置

java 复制代码 
package com.xkj.org.config;

import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class ConfirmConfig {

    //交换机
    public static final String EXCHANGE_NAME = "confirm.exchange";
    //队列
    public static final String QUEUE_NAME = "confirm.queue";
    //Routing Key
    public static final String ROUTING_KEY = "key1";

    @Bean
    public DirectExchange confirmExchange() {
        return new DirectExchange(EXCHANGE_NAME);
    }

    @Bean
    public Queue confirmQueue() {
        return QueueBuilder.durable(QUEUE_NAME).build();
    }

    @Bean
    public Binding bindingQueueToExchange(@Qualifier("confirmExchange") DirectExchange confirmExchange,
                                          @Qualifier("confirmQueue") Queue confirmQueue) {
        return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(ROUTING_KEY);

    }

}

回调接口

java 复制代码 
package com.xkj.org.config;

import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;
import java.io.UnsupportedEncodingException;

/**
 * 回调接口
 */
@Slf4j
@Component // 1.第一步实例化MyCallback这个bean
public class MyCallback implements RabbitTemplate.ConfirmCallback, RabbitTemplate.ReturnCallback {

    @Autowired // 2.第二步将rabbitTemplate实例依赖注入进来
    private RabbitTemplate rabbitTemplate;

    @PostConstruct
    public void init() { //3.第三步执行此方法
        //将本类对象（ConfirmCallback的实现类对象）注入到RabbitTemplate中
        rabbitTemplate.setConfirmCallback(this);
        rabbitTemplate.setReturnCallback(this);
    }

    /**
     * 交换机确认回调方法
     * @param correlationData
     * @param ack
     * @param cause
     * 1.发消息 交换机收到 调用
     *  1.1 correlationData 回调消息的id及相关信息
     *  1.2 交换机收到消息 ack = true
     *  1.3 cause null
     * 2.发消息 交换机接收失败 回调
     *  2.1 correlationData 回调消息的id及相关信息
     *  2.2 交换机收到消息 ack = false
     *  2.3 cause 失败的原因
     */
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        String id = correlationData != null ? correlationData.getId(): "";
        if(ack) {
            log.info("交换机已经接收到id为：{}的消息", id);
        }else {
            log.info("交换机还未收到id为：{}的消息，原因:{}", id, cause);
        }
    }

    /**
     * 可以在当消息传递过程中不可达目的时将消息返回给生产者
     * 注意此方法是消息传递失败才会调用，成功就不会执行
     * @param message
     * @param replyCode
     * @param replyText
     * @param exchange
     * @param routingKey
     */
    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        try {
            log.error("消息：{},被交换机：{},给退回了，原因：{},RoutingKey={}",
                    new String(message.getBody(), "UTF-8"),
                    exchange,
                    replyText,
                    routingKey
                    );
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
    }
}

测试结果

相关推荐
xlsw_2 小时前
java全栈day20--Web后端实战(Mybatis基础2)
java·开发语言·mybatis
神仙别闹3 小时前
基于java的改良版超级玛丽小游戏
java
黄油饼卷咖喱鸡就味增汤拌孜然羊肉炒饭4 小时前
SpringBoot如何实现缓存预热？
java·spring boot·spring·缓存·程序员
暮湫4 小时前
泛型（2）
java
超爱吃士力架4 小时前
邀请逻辑
java·linux·后端
南宫生4 小时前
力扣-图论-17【算法学习day.67】
java·学习·算法·leetcode·图论
转码的小石4 小时前
12/21java基础
java
李小白664 小时前
Spring MVC(上)
java·spring·mvc
GoodStudyAndDayDayUp4 小时前
IDEA能够从mapper跳转到xml的插件
xml·java·intellij-idea
装不满的克莱因瓶5 小时前
【Redis经典面试题六】Redis的持久化机制是怎样的？
java·数据库·redis·持久化·aof·rdb
热门推荐
01〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04DisplayPort AltMode On Type-c协议_Ver2.0(学习笔记)05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问076个主流的工业3D管道设计软件08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10树莓派 5 AI 套件（Hailo-8L）使用教程