Kafka 与 RocketMQ 核心概念与架构对比

DeepSeek生成，便于记忆大概逻辑

核心概念对比图

共同概念 Producers
生产者 Consumers
消费者 Messages
消息 RocketMQ 核心概念 Message Queues
消息队列 Topic ConsumeQueue
消费队列 Message Tags
消息标签 Consumer Groups
消费者组 Brokers
代理服务器 NameServer
命名服务 Kafka 核心概念 Partitions
分区 Topic Replicas
副本 Offsets
偏移量 Consumer Groups
消费者组 Brokers
代理服务器

Kafka 架构图

消费者集群 Kafka 集群主题与分区订阅订阅订阅订阅 Consumer Consumer Consumer Consumer ZooKeeper集群
元数据管理 ZK Node ZK Node ZK Node Broker 集群 Broker 1 Broker 2 Broker 3 Topic A Partition 0
Leader:B1 Partition 1
Leader:B2 Partition 2
Leader:B3 Topic B Partition 0
Leader:B2 Partition 1
Leader:B3 生产者集群 Producer Producer Producer

RocketMQ 架构图

消费者集群 RocketMQ 集群生产者集群主题与队列发布消息发布消息发布消息订阅消费订阅消费订阅消费订阅消费 Consumer Consumer Consumer Consumer NameServer 集群
服务发现 NameServer NameServer Broker 集群 Broker Group A Broker Master Broker Slave Broker Group B Broker Master Broker Slave Topic A Queue 0 Queue 1 Queue 2 Topic B Queue 0 Queue 1 Producer Producer Producer

消息生产消费流程对比

Producer Broker Consumer Kafka 消息流程 1. 发送消息到指定Topic/Partition 2. 消息持久化并分配Offset 3. 拉取指定Topic/Partition的消息 4. 返回消息及Offset 5. 提交已消费的Offset RocketMQ 消息流程 1. 发送消息到指定Topic 2. 消息持久化到CommitLog 3. 异步构建ConsumeQueue 4. 拉取指定Topic/Queue的消息 5. 返回消息及位置信息 6. 返回消费状态(ACK) Producer Broker Consumer

核心概念详细说明

Kafka 核心概念

Topic（主题）：消息的逻辑分类，类似于数据库中的表
Partition（分区） ：每个Topic可以分为多个分区，提供并行处理能力
- 每个分区是一个有序、不可变的消息序列
- 分区可以分布在不同的Broker上
Offset（偏移量）：分区中每条消息的唯一标识符
Producer（生产者）：向Kafka主题发布消息的客户端
Consumer（消费者）：订阅主题并处理消息的客户端
Consumer Group（消费者组） ：一组消费者共同消费一个主题
- 每个分区只能被组内的一个消费者消费
Broker（代理）：Kafka集群中的每个服务器节点
Replica（副本） ：分区的备份，提供高可用性
- Leader副本处理所有读写请求
- Follower副本从Leader同步数据

RocketMQ 核心概念

Topic（主题）：消息的逻辑分类
Message Queue（消息队列） ：类似于Kafka的分区，但有一些差异
- 提供并行处理能力
- 消息在队列中先进先出
Producer（生产者）：消息发送者
Consumer（消费者）：消息接收者
Consumer Group（消费者组）：一组消费者共同消费一个主题
Broker（代理）：RocketMQ服务器，负责消息存储和转发
NameServer（命名服务） ：轻量级的服务发现组件
- 管理Broker和Topic的路由信息
Tag（标签）：消息的二级分类，用于更细粒度的消息过滤
CommitLog（提交日志）：所有消息的物理存储文件
ConsumeQueue（消费队列）：逻辑队列，存储消息在CommitLog中的位置

关键差异总结

特性	Kafka	RocketMQ
服务发现	使用ZooKeeper	使用NameServer
消息存储	按分区存储	所有消息存储在CommitLog，逻辑队列存储索引
消息过滤	基于分区	基于Tag和SQL表达式
消息顺序	分区内有序	队列内有序
事务消息	支持	支持更完整的事务机制
延迟消息	有限支持	支持18个延迟级别
消息重试	需要自行实现	内置死信队列和重试机制

这些图表和说明展示了Kafka和RocketMQ的核心概念和架构差异，帮助理解两者的设计哲学和适用场景。