RocketMQ-RocketMQ集群实践(搭建)

搭建RocketMQ可视化管理服务

下载可视化客户端源码下载 | RocketMQ

这里只提供了源码,并没有提供直接运行的jar包。将源码下载下来后,需要解压并进入对应的目录,使用maven进行编译。(需要提前安装maven客户端)

复制代码
mvn clean package -Dmaven.test.skip=true

编译完成后,在源码的target目录下会生成可运行的jar包rocketmq-dashboard-1.0.1-SNAPSHOT.jar。

接下来可以将这个jar包上传到服务器上。我们上传到/usr/local/src/software/rocketmq/目录下

在rocketmq-dashboard-1.0.1-SNAPSHOT.jar同级目录中使用vi application.yml 命令生成yml文件

复制代码
vi application.yml 

​ 接下来我们需要在jar包所在的目录下创建一个application.yml配置文件,在配置文件中做如下配置:

**添加 namesrv的配置:**​ 主要是要指定nameserver的地址。

复制代码
rocketmq: 
  config: 
    namesrvAddrs: 
      - 192.168.200.7:9876 

​ 接下来就可以通过java指令执行这个jar包,启动管理控制台服务。

复制代码
java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar

这里启动失败出了问题,有报错:

Dashboard 可能会使用 Spring Boot 的默认版本,该版本可能是与 Dashboard 兼容的版本。但由于遇到了 java.lang.NoSuchMethodError 的问题,可能是由于不同版本之间的冲突引起的。

尝试在 pom.xml 文件中显式添加 SnakeYAML 的依赖项,并指定一个版本。例如:

复制代码
<dependency>
    <groupId>org.yaml</groupId>
    <artifactId>snakeyaml</artifactId>
    <version>1.27</version> <!-- 根据你实际使用的版本调整 -->
</dependency>

然后重新打包rocketmq-dashboard 源码成jar包,将之前的jar包删除,将这个刚打好的jar替换上去,重新启动:

该启动过程中又出现了一个问题,端口8080被占用了,查看占用8080端口的进程:

复制代码
sudo lsof -i :8080

将该进程杀掉:sudo kill -9 22731

重新启动,成功了!

成功访问!

搭建集群

升级分布式集群

对三台机器进行命名,进入编辑文件

复制代码
sudo vi /etc/hosts

在文件中添加以下这段配置,ip映射域名

复制代码
192.168.200.7 worker1
192.168.200.11 worker3
192.168.200.12 worker2

​ 之前我们用一台Linux服务器,快速搭建起了一整套RocketMQ的服务。但是很明显,这样搭建的服务是无法放到生产环境上去用的。一旦nameserver服务或者broker服务出现了问题,整个RocketMQ就无法正常工作。而且更严重的是,如果服务器出现了问题,比如磁盘坏了,那么存储在磁盘上的数据就会丢失。这时RocketMQ暂存到磁盘上的消息也会跟着丢失,这个问题就非常严重了。因此,我们需要搭建一个分布式的RocketMQ服务集群,来防止单点故障问题。

​ RocketMQ的分布式集群基于主从架构搭建。在多个服务器组成的集群中,指定一部分节点作为Master节点,负责响应客户端的请求。指令另一部分节点作为Slave节点,负责备份Master节点上的数据,这样,当Master节点出现故障时,在Slave节点上可以保留有数据备份,至少保证数据不会丢失。

​ 整个集群方案如下图所示:

​ 接下来我们准备三台相同的Linux服务器,搭建一下RocketMQ的分布式集群。为了更清晰的描述这三台服务器上的操作,我们给每个服务器指定一个机器名。

复制代码
cat /etc/hosts
192.168.200.7 worker1
192.168.200.11 worker2
192.168.200.12 worker3

​ 为了便于观察,我们这次搭建一个2主2从的RocketMQ集群,并将主节点和节点都分别部署在不同的服务器上。预备的集群规划情况如下:

机器名 nameServer服务部署 broker服务部署
worker1 nameServer
worker2 nameServer broker-a,broker-b-s
worker3 nameServer broker-a-s,broker-b

第一步:部署nameServer服务。

​ nameServer服务不需要做特别的配置,按照之前的步骤,在三台服务器上都分别部署nameServer服务即可。

第二步:对Broker服务进行集群配置。

​ 这里需要修改RocketMQ的配置文件,对broker服务做一些集群相关的参数部署。这些配置文件并不需要我们手动进行创建,在RocketMQ运行包的conf目录下,提供了多种集群的部署配置文件模板。

  • 2m-noslave: 2主无从的集群参考配置。这种集群存在单点故障。

  • 2m-2s-async和2m-2s-sync: 2主2从的集群参考配置。其中async和sync表示主节点与从节点之间是同步同步还是异步同步。关于这两个概念,会在后续章节详细介绍

  • dledger: 具备主从切换功能的高可用集群。集群中的节点会基于Raft协议随机选举出一个Leader,其作用类似于Master节点。其他的节点都是follower,其作用类似于Slave节点。

我们这次采用2m-2s-async的方式搭建集群,需要在worker2和worker3上修改这个文件夹下的配置文件。

相关推荐
灯火不休ᝰ几秒前
[kotlin] 从Java到Kotlin:掌握基础语法差异的跃迁指南
java·kotlin·安卓
KoiHeng12 分钟前
Java的文件知识与IO操作
java·开发语言
czlczl2002092521 分钟前
Spring Data Redis
java·redis·spring
知识即是力量ol22 分钟前
在客户端直接上传文件到OSS
java·后端·客户端·阿里云oss·客户端直传
闻哥29 分钟前
深入理解 Spring @Conditional 注解:原理与实战
java·jvm·后端·python·spring
煜磊30 分钟前
MD5加盐值-注册与登录
java·开发语言
东东51638 分钟前
校园求职招聘系统设计和实现 springboot +vue
java·vue.js·spring boot·求职招聘·毕设
Cult Of1 小时前
锁正确使用
java
long3161 小时前
K‘ 未排序数组中的最小/最大元素 |期望线性时间
java·算法·排序算法·springboot·sorting algorithm
xqqxqxxq1 小时前
洛谷算法1-1 模拟与高精度(NOIP经典真题解析)java(持续更新)
java·开发语言·算法