RabbitMQ集群

RabbitMQ概述

1.RabbiMQ简介

RabbiMQ是⽤Erang开发的,集群⾮常⽅便,因为Erlang天⽣就是⼀⻔分布式语⾔,但其本身并不⽀持负载均衡。支持高并发,支持可扩展。支持AJAX,持久化,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。

2.RabbitMQ 特点

可靠性

扩展性

高可用性

多种协议

多语言客户端

管理界面

插件机制

3.什么是消息队列

MQ 全称为Message Queue, 。是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。

消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信。


集群中有两种节点

1 内存节点:只保存状态到内存(一个例外的情况是:持久的queue的持久内容将被保存到disk)

2 磁盘节点:保存状态到内存和磁盘。---推荐

内存节点虽然不写入磁盘,但是它执行比磁盘节点要好。集群中,只需要一个磁盘节点来保存状态 就足够了

如果集群中只有内存节点,那么不能停止它们,否则所有的状态,消息等都会丢失。

普通集群准备环境(安装配置RabbitMQ)

这里准备三台服务器,在三台服务器上都安装rabbitmq并且配置本地解析。(三台服务器都配置)

复制代码
[root@server01 ~]# cat >> /etc/hosts<<EOF
192.168.134.165 server01
192.168.134.166 server02
192.168.134.163 server03
EOF
1.三个节点都安装rabbitmq
复制代码
[root@server01 ~]# yum install -y epel-release gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel

[root@server01 ~]#rz      #上传erlang和rabbitmq两个软件包
[root@server01 ~]# yum install  -y erlang-21.3.8.21-1.el7.x86_64
root@server01 ~]# yum install  -y   rabbitmq-server-3.7.10-1.el7.noarch.rpm
启动
复制代码
[root@server01 ~]# systemctl daemon-reload
[root@server01 ~]# systemctl start rabbitmq-server
[root@server01 ~]# systemctl enable rabbitmq-server

###每台都操作开启rabbitmq的web访问界面:
[root@server01 ~]# rabbitmq-plugins enable rabbitmq_management
创建用户
复制代码
[root@server01 ~]# rabbitmqctl   add_user aren 123  #添加用户和密码
[root@server01 ~]#rabbitmqctl set_user_tags aren  administrator   #设置为管理员
[root@server01 ~]# rabbitmqctl  list_users    #查看用户
Listing users ...
user	tags
aren	[administrator]
admin	[]
guest	[administrator]


aren设置这三个权限前是没有权限查询队列,在ui界面也看不见
[root@server01 ~]# rabbitmqctl set_permissions -p "/" aren ".*" ".*" ".*"
Setting permissions for user "aren" in vhost "/" ...
...done.
配置开启用户远程登录
复制代码
[root@server01 ~]# vim /etc/rabbitmq/rabbitmq.config  +61
    {loopback_users, []}

[root@server01 ~]# cp /usr/share/doc/rabbitmq-server-3.7.10/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

[root@server01 rabbitmq]# ll
总用量 44
-rw-r--r-- 1 root rabbitmq    23 11月  8 10:43 enabled_plugins
-rw-r--r-- 1 root rabbitmq 33096 11月  8 10:44 rabbitmq.config
测试
  • 查看端口

4369 -- erlang发现端口

5672 --程序连接端口

15672 -- 管理界面ui端口

25672 -- server间内部通信口

  • 访问192.168.134.165:15672
  • rabbitmq默认管理员用户:guest 密码:guest

部署集群

注意:在三台机器上都部署。

1.创建好数据目录和日志目录
复制代码
[root@server01~]#  mkdir -p /data/rabbitmq/data
[root@server01 ~]# mkdir -p /data/rabbitmq/logs
[root@server01 ~]#  chmod 777 -R /data/rabbitmq

创建配置文件:
[root@server01 ~]# vim /etc/rabbitmq/rabbitmq-env.conf
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs

###重启
[root@server01 ~]# systemctl  restart rabbitmq-server
2.拷⻉.erlang.cookie 到其他两台服务器,使服务器的cookie保持一致

Rabbitmq的集群是依附于erlang的集群来⼯作的,所以必须先构建起erlang的集群景象。Erlang的集群中

各节点是经由过程⼀个magic cookie来实现的,这个cookie存放在/var/lib/rabbitmq/.erlang.cookie中,⽂件是400的权限。所以必须保证各节点cookie⼀致,不然节点之间就⽆法通信.

⽤scp的⽅式将server01节点的.erlang.cookie的值复制到其他两个节点中.

复制代码
[root@server01 ~]# cat /var/lib/rabbitmq/.erlang.cookie
JSNEBPKQZWUGDKNCRKAM
[root@server01 ~]# scp /var/lib/rabbitmq/.erlang.cookie root@192.168.134.166:/var/lib/rabbitmq/
[root@server01 ~]# scp /var/lib/rabbitmq/.erlang.cookie root@192.168.134.163:/var/lib/rabbitmq/
3.将server02和server03作为内存结点加入server01节点集群

在server02和server03执行一下命令

注意:在改了主机名的情况下需要重启后才能添加磁盘节点,当然本地解析也要配置。

复制代码
[root@server02 ~]# systemctl restart rabbitmq-server
[root@server02 ~]# rabbitmqctl stop_app  #停止节点
[root@server02 ~]# rabbitmqctl reset   #如果有数据需要重置,没有则不用
[root@server02 ~]# rabbitmqctl join_cluster --ram rabbit@server01   #添加到磁盘节点
[root@server02 ~]#rabbitmqctl start_app  #启动节点


[root@server03 ~]# systemctl restart rabbitmq-server
[root@server03 ~]# rabbitmqctl stop_app  #停止节点
[root@server03 ~]# rabbitmqctl reset   #如果有数据需要重置,没有则不用
[root@server03 ~]# rabbitmqctl join_cluster --ram rabbit@server01
[root@server03 ~]#rabbitmqctl start_app  #启动节点

(1)默认rabbitmq启动后是磁盘节点,在这个cluster命令下,server02和server03是内存节点,server01是磁盘节点。

(2)如果要使server02,server03都是磁盘节点,去掉--ram参数即可

(3)如果想要更改节点类型,可以使⽤命令rabbitmqctl change_cluster_node_type

disc(ram),前提是必须停掉rabbit应⽤.

4.查看集群状态

在server01磁盘节点上查看集群的配置。

root@server01 \~\]# **rabbitmqctl cluster_status** ![](https://file.jishuzhan.net/article/1722596657503145985/0567512023e7d548668c7e7a50f65f9b.webp) ### RabbitMQ镜像集群配置 上面已经完成RabbitMQ默认集群模式,但并不保证队列的高可用性,尽管交换机、绑定这些可以复制到集群里的任何一个节点,但是队列内容不会复制。但队列节点宕机直接导致该队列无法应用,只能等待重启,所以要想在队列节点宕机或故障也能正常应用,就要复制队列内容到集群里的每个节点,必须要创建镜像队列。 镜像队列是基于普通的集群模式的,然后再添加一些策略,所以你还是得先配置普通集群,然后才能设置镜像队列,我们就以上面的集群接着做。 保证各个节点之间数据同步; **创建镜像集群:** rabbitmqctl set_permissions ".*" ".*" ".*" (后面三个"*"代表用户拥有配置、写、读全部权限) [root@server01 ~]# rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}' [root@server02 ~]# rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}' [root@server03 ~]# rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}' 再次查看队列已经同步到其他两台节点: ![](https://file.jishuzhan.net/article/1722596657503145985/717ea0f8b060e410f567cd2e7b5adc82.webp) *** ** * ** *** ### **安装并配置负载均衡器HA** * 安装haproxy [root@server01 ~]# yum -y install haproxy * 修改 /etc/haproxy/haproxy.cfg [root@server01 ~]# vim /etc/haproxy/haproxy.cfg global log 127.0.0.1 local2 chroot /var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 4000 user haproxy group haproxy nbproc 4 daemon # turn on stats unix socket stats socket /var/lib/haproxy/stats #--------------------------------------------------------------------- defaults mode http log global retries 3 timeout connect 10s timeout client 1m timeout server 1m timeout check 10s maxconn 2048 #--------------------------------------------------------------------- ##监控查看本地状态##### listen admin_stats bind *:89 mode http option httplog option httpclose log 127.0.0.1 local0 err stats uri /haproxy stats auth aren:123456 stats refresh 30s #################################### ###反代监控 frontend server bind *:5670 log global mode tcp #option forwardfor default_backend rabbitmq maxconn 3 backend rabbitmq mode tcp log global balance roundrobin server rabbitmq1 192.168.134.165:5672 check inter 2000s rise 2 fall 3 server rabbitmq2 192.168.134.166:5672 check inter 2000s rise 2 fall 3 server rabbitmq3 192.168.134.163:5672 check inter 2000s rise 2 fall 3 [root@server01 ~]# systemctl start haproxy

相关推荐
陌上 烟雨齐9 分钟前
Kafka数据生产和发送
java·分布式·kafka
在未来等你4 小时前
RabbitMQ面试精讲 Day 14:Federation插件与数据同步
中间件·面试·消息队列·rabbitmq
会编程的林俊杰6 小时前
Redisson中的分布式锁
redis·分布式·redisson
我爱娃哈哈9 小时前
分布式事务在分片场景下,TCC和Seata到底怎么选?一线实战全解析!
分布式·后端
Pitayafruit12 小时前
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
redis·分布式·后端
久念祈13 小时前
C++ - 仿 RabbitMQ 实现消息队列--客户端模块实现
分布式·rabbitmq
Code季风14 小时前
分布式系统中的幂等性设计:从理论到实现的全面指南
redis·分布式·微服务
dessler14 小时前
RabbitMQ-日常运维命令
linux·运维·rabbitmq
都叫我大帅哥15 小时前
RabbitMQ惰性队列:拯救内存的“树懒”战士 🦥
java·rabbitmq