RabbitMQ:仲裁队列 && HAProxy

搭建好单机多节点集群

当挂掉一个节点->rabbit

我们发现该节点中的队列状态为down,并且队列中的消息也没了,无法进行接收,也就是说这些数据只在主节点中存在,在从节点中不存在,只要主节点挂了,从节点就无法进行消息的接收

仲裁队列

因此我们引入了仲裁队列

我们首先创建一个仲裁队列来观察一下它的作用最后再来讲解一下它的原理

我们在随机的一个节点中创建一个仲裁队列,类型选择为Quorum,主节点设置为rabbit2

随机在仲裁队列中发送一条消息

观察,消息发送成功

当我挂掉当前这个队列的主节点rabbit2,继续观察

刚刚挂掉的时候

过了几秒,我们发现现在的主节点变成了rabbit,从节点只有rabbit3,但是队列中的消息依旧存在

我们重新启动rabbit2这个节点

我们发现现在的主节点依旧是rabbit,不会因为rabbit2的重启而改变,rabbit2变成了从节点

仲裁队列解决了普通队列因为挂掉而丢失消息

仲裁队列的原理

仲裁队列的本质:

仲裁队列是基于Raft算法实现的

仲裁队列的节点选举制度:

当节点开始启动的时候,每个节点都是一个follower,当某个节点一段时间没有收到心跳就会变成候选节点,候选节点发起投票,若同意超过半数,就会成为leader节点,选举完成后,leader节点定期的向follower节点发送心跳维持权威

消息的写入流程:

生产者把 消息发送到leader,leader写入本地日志,然后发送给follower,每个follower返回已同步,当半数节点确认后,leader将消息标记为已提交,

消息消费流程:

leader将已经提交的消息发送给消费者,消费者确定消息,leader将ack状态同步给follower,超过半数节点确认ack后,该消息可以安全的删除

Raft的leader宕机恢复:

如果leader挂了,follower等待一段时间没收到心跳,发送新一轮选举,新的leader产生,如果宕机的前leader恢复,也不会继续恢复leader位置,会变成follower位置

仲裁队列在Spring中的创建

创建仲裁队列,添加仲裁队列的函数

java 复制代码
@Configuration
public class QuorumConfig {

//    创建仲裁队列
    @Bean("quorumQueue")
    public Queue quorumQueue(){
        return QueueBuilder.durable("quorum.queue").quorum().build();
    }
}

发送消息

java 复制代码
@RequestMapping("/producer")
@RestController
public class ProducerController {
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @RequestMapping("/quorum")
    public String sendMessage(){
        rabbitTemplate.convertAndSend("","quorum.queue","quorum test........");
        return "消息发送成功";
    }
}

接收消息

java 复制代码
@Component
public class QuorumListener {

    @RabbitListener(queues = "quorum.queue")
    public void receiveMessage(Message message){
        System.out.println("接收的消息:"+message);

    }
}

HAProxy负载均衡

当我们挂掉rabbit这个节点的时候,我们发现服务器中RabbitMQ服务器监听的端口无法进行正常的监听,因为配置的监听端口号是5672,所以我们需要使用HAProxy来进行负载均衡

下载配置好的HAProxy,进行查看查看HAProxy

修改其配置

java 复制代码
vim/etc/haproxy/haproxy.cfg

配置好后,进行重启

java 复制代码
sudo systemctl restart haproxy

修改yml文件中rabbitmq服务器监听的的端口号

运行程序,进行消息的发送,消息接收成功

如果挂掉原本的5672的机器,服务器也是可以继续的运行的

相关推荐
ALex_zry1 天前
Redis Cluster 分布式缓存架构设计与实践
redis·分布式·缓存
为什么不问问神奇的海螺呢丶1 天前
n9e categraf rabbitmq监控配置
分布式·rabbitmq·ruby
TTBIGDATA1 天前
【Atlas】Atlas Hook 消费 Kafka 报错:GroupAuthorizationException
hadoop·分布式·kafka·ambari·hdp·linq·ranger
m0_687399841 天前
telnet localhost 15672 RabbitMQ “Connection refused“ 错误表示目标主机拒绝了连接请求。
分布式·rabbitmq
陌上丨1 天前
生产环境分布式锁的常见问题和解决方案有哪些?
分布式
新新学长搞科研1 天前
【智慧城市专题IEEE会议】第六届物联网与智慧城市国际学术会议(IoTSC 2026)
人工智能·分布式·科技·物联网·云计算·智慧城市·学术会议
Ronin3051 天前
日志打印和实用 Helper 工具
数据库·sqlite·rabbitmq·文件操作·uuid生成
泡泡以安1 天前
Scrapy分布式爬虫调度器架构设计说明
分布式·爬虫·scrapy·调度器
没有bug.的程序员1 天前
RocketMQ 与 Kafka 深度对垒:分布式消息引擎内核、事务金融级实战与高可用演进指南
java·分布式·kafka·rocketmq·分布式消息·引擎内核·事务金融
上海锟联科技1 天前
250MSPS DAS 在地铁监测中够用吗?——来自上海锟联科技的工程实践
分布式·科技·分布式光纤传感·das解调卡·光频域反射·das