RocketMQ的介绍和环境搭建

高如风2023-09-17 9:24

一、介绍

我也不知道是啥，知道有什么用、怎么用就行了，说到mq（MessageQueue）就是消息队列，队列是先进先出的一种数据结构，但是RocketMQ不一定是这样，简单的理解一下，就是临时存储的数据的一个临时仓库，货送到了就行了

作用一般有三个

  1. 异步：服务器把客户端请求放到RocketMQ，服务器就可以继续处理其它请求，RocketMQ可以按照自己的规则推送到对应的服务器进行处理
  2. 解耦：比如订单服务和库存服务直接，如果不用队列，下单必须等库存响应才能返回，这样依赖性太强，服务中间加入中间件可以降低服务直接的依赖
  3. 削峰：洪峰流量时，大量请求涌入，如果处理不过来服务器就容易瘫痪，就像处理水患一样，中间挖一个坑蓄水，RocketMQ就相当于这个坑，再把消息发到对应的下游服务器

二、单机部署

RocketMQ下载地址：下载 | RocketMQ

对bin目录下的runserver.sh和runbroker.sh两个脚本进行一下修改，主要是jvm的的内存参数设置

复制代码 
vim runserver.sh
# 找到choose_gc_options 根据jdk版本配置合适的内存大小
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

vim runbroker.sh
# 找到choose_gc_options 根据jdk版本配置合适的内存大小
JAVA_OPT="${JAVA_OPT} -Xmn512m -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8 -XX:-UseParNewGC"
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g"

1、启动nameserver服务

复制代码 
cd /usr/local/rocketmq/rocketmq-all-5.0.0-bin-release
# 后台启动
nohup bin/mqnamesrv &
# 查看是否启动成功
less nohup.out
# 查看java进程NamesrvStartup服务
jps

2、启动broker服务

配置环境遍历NAMESRV_ADDR

复制代码 
vi ~/.profile
#最后一行添加如下内容
export NAMESRV_ADDR='localhost:9876'
#source生效
source ~/.profile

启动broker服务

复制代码 
cd /usr/local/rocketmq/rocketmq-all-5.0.0-bin-release
vim conf/broker.conf
#在最后一行添加如下 意思是开启自动创建topic
autoCreateTopicEnable=true
#启动broker
nohup bin/mqbroker &
# 查看是否启动成功
less nohup.out
# 查看java进程BrokerStartup服务
jps

3、关闭

1）、在实际服务部署时，通常会将RocketMQ的部署地址添加到环境变量当中。例如使用vi ~/.bash_profile指令，添加以下内容。

export ROCKETMQ_HOME=/app/rocketmq/rocketmq-all-4.9.5-bin-releasePATH=ROCKETMQ_HOME/bin:PATHexport PATH

这样就不必每次进入RocketMQ的安装目录了。直接可以使用mqnamesrv 和mqbroker指令。

2）、停止RocketMQ服务可以通过mqshutdown指令进行

mqshutdown namesrv # 关闭nameserver服务

mqshutdown broker # 关闭broker服务

4、测试收发消息

复制代码 
#通过指令启动RocketMQ的消息生产者发送消息
bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
#启动消息消费者接收之前发送的消息
bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

5、搭建RocketMQ可视化界面

在RocketMQ下载页找到RocketMQ Dashboard进行源码的下载，解压后在maven环境下进行编译

复制代码 
mvn clean package -Dmaven.test.skip=true

编译完成后，在源码的target目录下会生成可运行的jar包rocketmq-dashboard-1.0.0.jar。接下来可以将这个jar包上传到服务器上

复制代码 
cd /usr/local/rocketmq
mkdir rocketmq-dashboard
cd rocketmq-dashboard
#上传文件到此目录后，新建application.yml（如果出现错误可以不添加yml文件）
vim application.yml
application.yml内容如下
rocketmq: 
  config: 
    namesrvAddrs: 
      - 192.168.146.128:9876

#结果启动RocketMQ可视化界面的jar包
java -jar rocketmq-dashboard-1.0.0.jar 1>dashboard.log 2>&1 &

查看dashboard.log文件们没有报错的情况下访问部署的所在机器的ip:8080（默认）

三、集群搭建

如果单节点部署，nameserver或者broker挂了都不能正常访问RocketMQ了，针对这种情况可以基于集群部署，先是对集群做了如下部署规划

不要想用一台机器来搭建，否则就会出现这个错误

正式开始，下面开了三台机器，ip依次是192.168.64.133、192.168.64.134、192.168.64.128

第一步，先按照之前的步骤配置nameserver然后启动
复制代码 
#三台机器启动nameserver都是一样的操作
cd /usr/local/rocketmq/rocketmq-all-4.9.5-bin-release
vim bin/runserver.sh
# 找到choose_gc_options 根据jdk版本配置合适的内存大小
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
# 后台启动
nohup bin/mqnamesrv &
# 查看是否启动成功
less nohup.out
# 查看java进程NamesrvStartup服务
jps
第二步配置并启动broker主从集群

1）、在192.168.64.133上配置broker-a，修改conf/2m-2s-async/broker-a.properties，把原来的注释掉，添加如下内容

复制代码 
#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.64.133:9876;192.168.64.134:9876;192.168.64.128:9876
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
deleteWhen=04
fileReservedTime=120
#存储路径
storePathRootDir=/usr/local/rocketmq/store
storePathCommitLog=/usr/local/rocketmq/store/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
storePathIndex=/usr/local/rocketmq/store/index
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
abortFile=/usr/local/rocketmq/store/abort
#Broker 的角色
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=10911

2）、在192.168.64.134上配置broker-a的slave，修改conf/2m-2s-async/broker-a-s.properties，把原来的注释掉，添加如下内容

复制代码 
#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.64.133:9876;192.168.64.134:9876;192.168.64.128:9876
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
deleteWhen=04
fileReservedTime=120
#存储路径
storePathRootDir=/usr/local/rocketmq/storeSlave
storePathCommitLog=/usr/local/rocketmq/storeSlave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/storeSlave/consumequeue
storePathIndex=/usr/local/rocketmq/storeSlave/index
storeCheckpoint=/usr/local/rocketmq/storeSlave/checkpoint
abortFile=/usr/local/rocketmq/storeSlave/abort
#Broker 的角色
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=11011

3）、在192.168.64.134上配置broker-b，修改conf/2m-2s-async/broker-b.properties，把原来的注释掉，添加如下内容

复制代码 
#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.64.133:9876;192.168.64.134:9876;192.168.64.128:9876
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
deleteWhen=04
fileReservedTime=120
#存储路径
storePathRootDir=/usr/local/rocketmq/store
storePathCommitLog=/usr/local/rocketmq/store/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
storePathIndex=/usr/local/rocketmq/store/index
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
abortFile=/usr/local/rocketmq/store/abort
#Broker 的角色
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=10911

4）、在192.168.64.133上配置broker-b的slave，修改conf/2m-2s-async/broker-b-s.properties，把原来的注释掉，添加如下内容

复制代码 
#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点。
brokerName=broker-b
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=192.168.64.133:9876;192.168.64.134:9876;192.168.64.128:9876
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
deleteWhen=04
fileReservedTime=120
#存储路径
storePathRootDir=/usr/local/rocketmq/storeSlave
storePathCommitLog=/usr/local/rocketmq/storeSlave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/storeSlave/consumequeue
storePathIndex=/usr/local/rocketmq/storeSlave/index
storeCheckpoint=/usr/local/rocketmq/storeSlave/checkpoint
abortFile=/usr/local/rocketmq/storeSlave/abort
#Broker 的角色
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=11011

​ 这样就完成了2主2从集群的配置。配置过程汇总有几个需要注意的配置项：

  • store开头的一系列配置：表示RocketMQ的存盘文件地址。在同一个机器上需要部署多个Broker服务时，不同服务的存储目录不能相同。

  • listenPort：表示Broker对外提供服务的端口。这个端口默认是10911。在同一个机器上部署多个Broker服务时，不同服务占用的端口也不能相同。

  • 如果你使用的是多网卡的服务器，比如阿里云上的云服务器，那么就需要在配置文件中增加配置一个brokerIP1属性，指向所在机器的外网网卡地址。

第三步，启动broker服务

在启动之前还是需要配置jvm参数（所有机器都一样）

复制代码 
vim bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g"

先启动在192.168.64.133的broker-a和broker-b-s服务

复制代码 
cd /usr/local/rocketmq/rocketmq-all-4.9.5-bin-release
nohup bin/mqbroker -c ./conf/2m-2s-async/broker-a.properties &
nohup bin/mqbroker -c ./conf/2m-2s-async/broker-b-s.properties &

再启动192.168.64.134的broker-b和broker-a-s服务

复制代码 
cd /usr/local/rocketmq/rocketmq-all-4.9.5-bin-release
nohup bin/mqbroker -c ./conf/2m-2s-async/broker-b.properties &
nohup bin/mqbroker -c ./conf/2m-2s-async/broker-a-s.properties &
第四步，检查broker集群状态
复制代码 
bin/mqadmin clusterList

也可以通过rocketmq dashboard查看，我之前添加yml启动报错，不知道怎么回事，欢迎大佬留言解决，其实rocketmq dashboard可以这样配置nameserver的地址

XML 复制代码 
rocketmq: 
  config: 
    namesrvAddrs: 
      - 192.168.64.133:9876 
      - 192.168.64.134:9876
      - 192.168.64.128:9876

具体查看集群结果就是如图

​ 在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题。

有个问题就是主节点挂了，为了保证数据的完整性不会选举新的主节点，因为如果因为网络波动出现脑裂问题很有可能会丢失数据

把broker-b和broker-a-s也就是把192.168.64.134的broker服务停掉，看下什么状态，操作如下命令

XML 复制代码 
bin/mqshutdown broker

四、升级高可用集群

在Dledger集群中，就不再单独指定各个broker的服务，而是由这些broker服务自行进行选举，产生一个Leader角色的服务，响应客户端的各种请求。而其他的broker服务，就作为Follower角色，负责对Leader上的数据进行备份

Dledger集群的选举是通过Raft协议进行的，Raft协议是一种多数同意机制。也就是每次选举需要有集群中超过半数的节点确认，才能形成整个集群的共同决定。同时，这也意味着在Dledger集群中，只要有超过半数的节点能够正常工作，那么整个集群就能正常工作。因此，在部署Dledger集群时，通常都是部署奇数台服务，这样可以让集群的容错性达到最大。

还是用之前的机器，ip依次是192.168.64.133、192.168.64.134、192.168.64.128

第一步：部署nameserver

这一步和之前部署主从集群没有区别，不需要做过多的配置，直接在三台服务器上启动nameserver服务即可。

第二步：对Broker服务进行集群配置

在conf/dledger目录下，RocketMQ默认给出了三个配置文件，这三个配置文件可以在单机情况下直接部署成一个具有三个broker服务的Dledger集群，我们只需要按照这个配置进行修改即可。

注：在RocketMQ运行包的bin/dledger目录下，RocketMQ还提供了一个fast-try.sh脚本。这个脚本会指定conf/deldger目录下的配置文件，直接启动有三个broker服务的Dledger集群。每个集群指定的内存大小占用1G。

在三台机器的conf/dledger目录下，都创建一个broker.conf文件，对每个broker服务进行配置。

192.168.64.133的broker.conf配置示例

XML 复制代码 
vim /usr/local/rocketmq/rocketmq-all-4.9.5-bin-release/conf/dledger/broker.conf
# 文件内容如下
brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30911
namesrvAddr=192.168.64.133:9876;192.168.64.134:9876;192.168.64.128:9876
storePathRootDir=/usr/local/rocketmq/storeDledger/
storePathCommitLog=/usr/local/rocketmq/storeDledger/commitlog
storePathConsumeQueue=/usr/local/rocketmq/storeDledger/consumequeue
storePathIndex=/usr/local/rocketmq/storeDledger/index
storeCheckpoint=/usr/local/rocketmq/storeDledger/checkpoint
abortFile=/usr/local/rocketmq/storeDledger/abort
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-192.168.64.133:40911;n1-192.168.64.134:40911;n2-192.168.64.128:40911
## must be unique
dLegerSelfId=n0
sendMessageThreadPoolNums=16

192.168.64.134的broker.conf配置示例

XML 复制代码 
vim /usr/local/rocketmq/rocketmq-all-4.9.5-bin-release/conf/dledger/broker.conf
# 文件内容如下
brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30911
namesrvAddr=192.168.64.133:9876;192.168.64.134:9876;192.168.64.128:9876
storePathRootDir=/usr/local/rocketmq/storeDledger/
storePathCommitLog=/usr/local/rocketmq/storeDledger/commitlog
storePathConsumeQueue=/usr/local/rocketmq/storeDledger/consumequeue
storePathIndex=/usr/local/rocketmq/storeDledger/index
storeCheckpoint=/usr/local/rocketmq/storeDledger/checkpoint
abortFile=/usr/local/rocketmq/storeDledger/abort
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-192.168.64.133:40911;n1-192.168.64.134:40911;n2-192.168.64.128:40911
## must be unique
dLegerSelfId=n1
sendMessageThreadPoolNums=16

192.168.64.128的broker.conf配置示例

XML 复制代码 
vim /usr/local/rocketmq/rocketmq-all-4.9.5-bin-release/conf/dledger/broker.conf
# 文件内容如下
brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30911
namesrvAddr=192.168.64.133:9876;192.168.64.134:9876;192.168.64.128:9876
storePathRootDir=/usr/local/rocketmq/storeDledger/
storePathCommitLog=/usr/local/rocketmq/storeDledger/commitlog
storePathConsumeQueue=/usr/local/rocketmq/storeDledger/consumequeue
storePathIndex=/usr/local/rocketmq/storeDledger/index
storeCheckpoint=/usr/local/rocketmq/storeDledger/checkpoint
abortFile=/usr/local/rocketmq/storeDledger/abort
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-192.168.64.133:40911;n1-192.168.64.134:40911;n2-192.168.64.128:40911
## must be unique
dLegerSelfId=n2
sendMessageThreadPoolNums=16

这里对几个需要重点关注的配置项，做下介绍：

  • enableDLegerCommitLog: 是否启动Dledger。true表示启动

  • namesrvAddr: 指定nameserver地址

  • dLedgerGroup: Dledger Raft Group的名字，建议跟brokerName保持一致。

  • dLedgerPeers: Dledger Group内各个服务节点的地址及端口信息。同一个Group内的各个节点配置必须要保持一致。

  • dLedgerSelfId: Dledger节点ID，必须属于dLedgerPeers中的一个。同一个Group内的各个节点必须不能重复。

  • sendMessageThreadPoolNums：dLedger内部发送消息的线程数，建议配置成cpu核心数。

  • store开头的一系列配置： 这些是配置dLedger集群的消息存盘目录。如果你是从主从架构升级成为dLedger架构，那么这个地址可以指向之前搭建住主从架构的地址。dLedger集群会兼容主从架构集群的消息格式，只不过主从架构的消息无法享受dLedger集群的两阶段同步功能。

第三步：启动broker服务

和启动主从架构的broker服务一样，我们只需要在启动broker服务时，指定配置文件即可。在三台服务器上分别执行以下指令，启动broker服务

XML 复制代码 
cd /usr/local/rocketmq/rocketmq-all-4.9.5-bin-release
nohup bin/mqbroker -c conf/dledger/broker.conf &
第四步：检查集群服务状态

通过rocketmq dashboard查看

停掉192.168.64.128之后的dashboard

不能停了，再停宕机超过半数只剩一台就无法选举产生新的master

相关推荐
摇滚侠20 小时前
《RocketMQ 官网》阅读笔记 RocketMQ 订阅 (Subscription)
笔记·rocketmq
摇滚侠1 天前
《RocketMQ 官网》阅读笔记 RocketMQ 消费者组（Consumer Group）消费者（Consumer）
笔记·rocketmq
摇滚侠2 天前
《RocketMQ 官网》阅读笔记 RocketMQ 消息队列 MessageQueue 消息 Messagege
笔记·rocketmq
Bug收容所2 天前
12305项目学习day5
java·spring boot·redis·mysql·spring·rocketmq
啊啊啊迈 旋棍3 天前
生态整合与实战篇：Spring Boot 整合 RocketMQ 完全指南
spring boot·rocketmq·java-rocketmq
坚持的小马4 天前
Rocketmq搭建操作步骤
java·rocketmq·java-rocketmq
Ai拆代码的曹操4 天前
RocketMQ 消息堆积排查实战：从 20 个消费者线程卡死到 rebalance 死亡螺旋
后端·rocketmq
码农学院4 天前
Spring Boot RocketMQ构建电商零售高并发订单处理系统
spring boot·rocketmq·java-rocketmq
阿里云云原生6 天前
会话即 Topic：RocketMQ LiteTopic 如何支撑 AI Agent 实现分钟级异步协作与精细化限流？
rocketmq
热门推荐
01如何新建文件夹？ 电脑新建文件夹的4种方法022026年7月AI圈大地震：GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片03GitHub 镜像站点04国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）05AI科技热点日报 | 2026年07月01日06AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路072026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？08微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新09Agnes AI 免费 API 接入指南：文本、生图、生视频，一套接口全免费102026 年 AI 大模型 & AI 编程工具实战全总结