基础篇-基本架构

1.NameServer

1.1 概述

NameServer是一个无状态 的服务器,类似于ZooKeeper,但比ZooKeeper轻量

无状态意味着:

  • 新的NameServer可以在不与现有NameServer集群同步数据的情况下,轻松加入到该集群中,从而实现了NameServer的水平扩容。
  • NameServer集群中的任何一台NameServer服务器宕机之后,整个系统都不会丢失任何信息,并且,针对于该故障机器,还可以进行简单的替换和重启。
  • 用户端可以自由发送信息到NameServer集群中的任何一台NameServer服务器,而无需担心该服务器是否持有最全最新的数据。

1.2 功能

  1. **健康检查**:NameServer通过长连接的心跳机制,定期检查每个Broker的健康状况。
  2. **提供Topic的路由信息**NameServer将存储全部Broker的全部Topic的路由信息,以便在生产者和消费者请求时能够及时提供所需的路由信息。

2.Broker

2.1 概述

Broker负责消息的**存储****转发**

单个Broker会与所有 NameServer保持长连接和心跳,并定时将Topic信息同步给所有NameServer

2.2 处理消息的流程

  1. 消息接收:Broker在接收到一个生产者发来的消息后,会先将其写入CommitLog文件中去。
  2. 消息分发:Broker将会启动一个线程,单独负责将CommitLog新的内容写入到IndexFile和ConsumerQueue中去。
  3. 消息投递:消费者通过PullMessageProcessor类拉取ConsumerQueue中的消息数据,然后进行消息的处理。

3.Producer

3.1 概述

业务端可以负载均衡的模式发送消息到Broker集群,可由用户进行分布式部署。

3.2 消息的生产方式

  1. **同步发送**:发送一条消息后必须在接收方发回响应之后才能继续发送下一条消息。
  2. **异步发送**:发送一条消息后无需等待接收方发回响应便可继续发送下一条消息。
  3. **单向发送**:只管发送消息给接收方而不管接收方的回应,这种方式不能注册回调函数。该方式一般用于耗时短且对可靠性要求不高的场景,如日志的收集。

4.Consumer

3.1 概述

负责消息的消费处理。

3.2 消息的消费方式

  1. **pull**:消费者将主动从Broker拉取消息,一旦拉取到新的消息过来,就立即启动消息消费过程。
  2. **push**:消费端通过提前注册好一个实时监听新消息到了的回调函数,从而在新消息到来时,自动执行相应的处理逻辑(一般处理逻辑都写在这个回调函数中)。(从实现方面来看,该方式还是与pull方式一样)

3.3 消息的消费模式

  1. **集群消费(默认)**:在消费同一个Topic下的消息时,RocketMQ会将新产生的多条消息分别投递给同一消费者组中的不同消费者,也就是说,每条消息只会被所投中的消费者进行一次性消费,不会被其他消费者消费了。该方式适合消费的负载均衡、大数据的分布式处理等场景。(注:该方式将会重投消费失败的消息,但不保证消息将被再次投递到同一台机器上去)
  2. **广播消费**:在消费同一个Topic下的消息时,RocketMQ会将新产生的多条消息分别投递给同一消费者组中的每一个消费者,也就是说,每条消息都会被同消费者组中的全部消费者消费到。该方式适合通知通告、分布式系统的多节点的配置同步或数据变更等场景。(注:该方式不会重投消费失败的消息)(注2:在同一消费者组中,若出现不同消费者之间配置了不同消费模式的情况,则整个消费者组全部采用广播消费模式 )

参考文档

消息队列面试题之RocketMQ篇,23道RocketMQ八股文
RocketMQ源码-broker 消息接收流程(写入commitLog)
消费者负载均衡

相关推荐
小白不想白a6 小时前
消息队列--包括面试常考题/运维监控指标
中间件
金刚猿7 小时前
01_虚拟机中间件部署_root 用户安装 docker 容器,配置非root用户权限
docker·中间件·容器
洛豳枭薰11 小时前
消息队列关键问题描述
kafka·rabbitmq·rocketmq
wsx_iot16 小时前
RocketMQ使用
rocketmq
Hello.Reader18 小时前
Rocket Fairings 实战把全局能力做成“结构化中间件”
中间件·rust·rocket
岁岁种桃花儿2 天前
Kafka从入门到上天系列第一篇:kafka的安装和启动
大数据·中间件·kafka
像少年啦飞驰点、2 天前
从零开始学 RabbitMQ:小白也能懂的消息队列实战指南
java·spring boot·微服务·消息队列·rabbitmq·异步编程
奋斗羊羊3 天前
rocketmq 及依赖环境编译安装过程记录(windows)
windows·rocketmq
波波0073 天前
每日一题:中间件是如何工作的?
中间件·.net·面试题
没有bug.的程序员3 天前
RocketMQ 与 Kafka 深度对垒:分布式消息引擎内核、事务金融级实战与高可用演进指南
java·分布式·kafka·rocketmq·分布式消息·引擎内核·事务金融