21.发布确认模式-高级

重整旗鼓~2024-07-30 19:00

问题

生产环境中由于一些不明原因，导致rabbitmq重启，在重启的期间生产者消息投递失败，导致消息丢失，需要手动处理恢复。那么如何才能进行rabbitmq的消息可靠性投递？特别是在极端的情况，rabbitmq集群不可用的时候，无法投递的消息该如何处理？

例如这样的异常信息：

方案

生产者将发送的消息发给rabbitmq的同时，将消息备份到缓存中。如果rabbitmq宕机了。会有一个定时任务会对未成功发送的消息进行重新投递。如果交换机成功收到消息会从缓存中清除已收到的消息。

分析

造成消息丢失会有两种情况，一种是交换机故障，另一个中是队列故障。

交换机确认消息是否收到的解决办法

启用发布确认的配置

复制代码 
spring:
  rabbitmq:
    host: 192.168.171.128
    username: admin
    password: 123
    port: 5672
    publisher-confirm-type: correlated

默认是none值，是不开启的，禁用发布确认模式。

correlated，发布消息到交换机后会触发回调方法。

simple, 单个确认消息。

代码

配置类

java 复制代码 
package com.xkj.org.config;

import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class ConfirmConfig {

    //交换机
    public static final String EXCHANGE_NAME = "confirm.exchange";
    //队列
    public static final String QUEUE_NAME = "confirm.queue";
    //Routing Key
    public static final String ROUTING_KEY = "key1";

    @Bean
    public DirectExchange confirmExchange() {
        return new DirectExchange(EXCHANGE_NAME);
    }

    @Bean
    public Queue confirmQueue() {
        return QueueBuilder.durable(QUEUE_NAME).build();
    }

    @Bean
    public Binding bindingQueueToExchange(@Qualifier("confirmExchange") DirectExchange confirmExchange,
                                          @Qualifier("confirmQueue") Queue confirmQueue) {
        return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(ROUTING_KEY);

    }

}

回调接口

java 复制代码 
package com.xkj.org.config;

import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;

/**
 * 回调接口
 */
@Slf4j
@Component // 1.第一步实例化MyCallback这个bean
public class MyCallback implements RabbitTemplate.ConfirmCallback {

    @Autowired // 2.第二步将rabbitTemplate实例依赖注入进来
    private RabbitTemplate rabbitTemplate;

    @PostConstruct
    public void init() { //3.第三步执行此方法
        //将本类对象（ConfirmCallback的实现类对象）注入到RabbitTemplate中
        rabbitTemplate.setConfirmCallback(this);
    }

    /**
     * 交换机确认回调方法
     * @param correlationData
     * @param ack
     * @param cause
     * 1.发消息 交换机收到 调用
     *  1.1 correlationData 回调消息的id及相关信息
     *  1.2 交换机收到消息 ack = true
     *  1.3 cause null
     * 2.发消息 交换机接收失败 回调
     *  2.1 correlationData 回调消息的id及相关信息
     *  2.2 交换机收到消息 ack = false
     *  2.3 cause 失败的原因
     */
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        String id = correlationData != null ? correlationData.getId(): "";
        if(ack) {
            log.info("交换机已经接收到id为：{}的消息", id);
        }else {
            log.info("交换机还未收到id为：{}的消息，原因:{}", id, cause);
        }
    }
}

消费者

java 复制代码 
package com.xkj.org.listener;

import com.rabbitmq.client.Channel;
import com.xkj.org.config.ConfirmConfig;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;


@Slf4j
@Component
public class ConfirmQueueConsumer {

    @RabbitListener(queues = ConfirmConfig.QUEUE_NAME)
    public void receiveMsg(Message message, Channel channel) throws Exception {
        String msg = new String(message.getBody(), "UTF-8");
        log.info("收到队列的消息：{}",  msg);
    }
}

生产者

java 复制代码 
@ApiOperation("测试发布确认发消息")
    @GetMapping("/sendMessage/{msg}")
    public void sendMessage(@ApiParam(value = "消息内容", required = true)@PathVariable("msg") String message) {
        CorrelationData correlation = new CorrelationData("1");

        rabbitTemplate.convertAndSend("confirm.exchange", "key1", message, correlation);
        log.info("发送消息内容{}", message);
    }

结果

**小技巧：**如果要是测试交换机接收失败的回调，可以通过修改生产者发消息的交换机的名字为一个不存在的名字即可。

java 复制代码 
@ApiOperation("测试发布确认发消息")
    @GetMapping("/sendMessage/{msg}")
    public void sendMessage(@ApiParam(value = "消息内容", required = true)@PathVariable("msg") String message) {
        CorrelationData correlation = new CorrelationData("1");

        rabbitTemplate.convertAndSend("confirm.exchange"+"123", "key1", message, correlation);
        log.info("发送消息内容{}", message);
    }

问题：上面只能保证交换机收到消息的确认回调，不能保证队列收到消息的确认回调？

队列确认消息是否收到的解决办法

比如routingKey错了，或者队列出了问题，队列也将无法收到消息。

在仅开启生产者确认机制情况下，接换机接收到消息后，会直接给消息生产者发送确认消息。如果发现该消息不可路由，那么消息会直接丢弃，此时生产者是不知道消息被丢弃这个事件的。

解决办法

通过设置mandatory参数可以在当消息传递过程中不可达目的时将消息返回给生产者。

添加配置

复制代码 
spring:
  rabbitmq:
    host: 192.168.171.128
    username: admin
    password: 123
    port: 5672
    publisher-confirm-type: correlated
    publisher-returns: true

publiser-returns发布退回消息。

说明：这里为了测试故意把routingkey写错

代码

生产者

估计把routingKey改成错误的 key1123

java 复制代码 
@ApiOperation("测试发布确认发消息")
    @GetMapping("/sendMessage/{msg}")
    public void sendMessage(@ApiParam(value = "消息内容", required = true)@PathVariable("msg") String message) {
        CorrelationData correlation = new CorrelationData("1");

        rabbitTemplate.convertAndSend("confirm.exchange", "key1"+"123", message, correlation);
        log.info("发送消息内容{}", message);
    }

消费者

java 复制代码 
package com.xkj.org.listener;

import com.rabbitmq.client.Channel;
import com.xkj.org.config.ConfirmConfig;
import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;


@Slf4j
@Component
public class ConfirmQueueConsumer {

    @RabbitListener(queues = ConfirmConfig.QUEUE_NAME)
    public void receiveMsg(Message message, Channel channel) throws Exception {
        String msg = new String(message.getBody(), "UTF-8");
        log.info("收到队列的消息：{}",  msg);
    }
}

配置

java 复制代码 
package com.xkj.org.config;

import org.springframework.amqp.core.*;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class ConfirmConfig {

    //交换机
    public static final String EXCHANGE_NAME = "confirm.exchange";
    //队列
    public static final String QUEUE_NAME = "confirm.queue";
    //Routing Key
    public static final String ROUTING_KEY = "key1";

    @Bean
    public DirectExchange confirmExchange() {
        return new DirectExchange(EXCHANGE_NAME);
    }

    @Bean
    public Queue confirmQueue() {
        return QueueBuilder.durable(QUEUE_NAME).build();
    }

    @Bean
    public Binding bindingQueueToExchange(@Qualifier("confirmExchange") DirectExchange confirmExchange,
                                          @Qualifier("confirmQueue") Queue confirmQueue) {
        return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(ROUTING_KEY);

    }

}

回调接口

java 复制代码 
package com.xkj.org.config;

import lombok.extern.slf4j.Slf4j;
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.connection.CorrelationData;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;
import java.io.UnsupportedEncodingException;

/**
 * 回调接口
 */
@Slf4j
@Component // 1.第一步实例化MyCallback这个bean
public class MyCallback implements RabbitTemplate.ConfirmCallback, RabbitTemplate.ReturnCallback {

    @Autowired // 2.第二步将rabbitTemplate实例依赖注入进来
    private RabbitTemplate rabbitTemplate;

    @PostConstruct
    public void init() { //3.第三步执行此方法
        //将本类对象（ConfirmCallback的实现类对象）注入到RabbitTemplate中
        rabbitTemplate.setConfirmCallback(this);
        rabbitTemplate.setReturnCallback(this);
    }

    /**
     * 交换机确认回调方法
     * @param correlationData
     * @param ack
     * @param cause
     * 1.发消息 交换机收到 调用
     *  1.1 correlationData 回调消息的id及相关信息
     *  1.2 交换机收到消息 ack = true
     *  1.3 cause null
     * 2.发消息 交换机接收失败 回调
     *  2.1 correlationData 回调消息的id及相关信息
     *  2.2 交换机收到消息 ack = false
     *  2.3 cause 失败的原因
     */
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        String id = correlationData != null ? correlationData.getId(): "";
        if(ack) {
            log.info("交换机已经接收到id为：{}的消息", id);
        }else {
            log.info("交换机还未收到id为：{}的消息，原因:{}", id, cause);
        }
    }

    /**
     * 可以在当消息传递过程中不可达目的时将消息返回给生产者
     * 注意此方法是消息传递失败才会调用，成功就不会执行
     * @param message
     * @param replyCode
     * @param replyText
     * @param exchange
     * @param routingKey
     */
    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        try {
            log.error("消息：{},被交换机：{},给退回了，原因：{},RoutingKey={}",
                    new String(message.getBody(), "UTF-8"),
                    exchange,
                    replyText,
                    routingKey
                    );
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
    }
}

测试结果

相关推荐
晨曦_子画几秒前
编程语言之战：AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
南宫生23 分钟前
贪心算法习题其三【力扣】【算法学习day.20】
java·数据结构·学习·算法·leetcode·贪心算法
Heavydrink36 分钟前
HTTP动词与状态码
java
ktkiko1139 分钟前
Java中的远程方法调用——RPC详解
java·开发语言·rpc
计算机-秋大田1 小时前
基于Spring Boot的船舶监造系统的设计与实现，LW+源码+讲解
java·论文阅读·spring boot·后端·vue
神里大人1 小时前
idea、pycharm等软件的文件名红色怎么变绿色
java·pycharm·intellij-idea
小冉在学习1 小时前
day53 图论章节刷题Part05（并查集理论基础、寻找存在的路径）
java·算法·图论
代码之光_19802 小时前
保障性住房管理：SpringBoot技术优势分析
java·spring boot·后端
ajsbxi2 小时前
苍穹外卖学习记录
java·笔记·后端·学习·nginx·spring·servlet
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10红米手机使用google play