Kafka 与 RocketMQ 核心概念与架构对比

Kafka 与 RocketMQ 核心概念与架构对比

DeepSeek生成,便于记忆大概逻辑

核心概念对比图

共同概念 Producers
生产者 Consumers
消费者 Messages
消息 RocketMQ 核心概念 Message Queues
消息队列 Topic ConsumeQueue
消费队列 Message Tags
消息标签 Consumer Groups
消费者组 Brokers
代理服务器 NameServer
命名服务 Kafka 核心概念 Partitions
分区 Topic Replicas
副本 Offsets
偏移量 Consumer Groups
消费者组 Brokers
代理服务器

Kafka 架构图

消费者集群 Kafka 集群 主题与分区 订阅 订阅 订阅 订阅 Consumer Consumer Consumer Consumer ZooKeeper集群
元数据管理 ZK Node ZK Node ZK Node Broker 集群 Broker 1 Broker 2 Broker 3 Topic A Partition 0
Leader:B1 Partition 1
Leader:B2 Partition 2
Leader:B3 Topic B Partition 0
Leader:B2 Partition 1
Leader:B3 生产者集群 Producer Producer Producer

RocketMQ 架构图

消费者集群 RocketMQ 集群 生产者集群 主题与队列 发布消息 发布消息 发布消息 订阅消费 订阅消费 订阅消费 订阅消费 Consumer Consumer Consumer Consumer NameServer 集群
服务发现 NameServer NameServer Broker 集群 Broker Group A Broker Master Broker Slave Broker Group B Broker Master Broker Slave Topic A Queue 0 Queue 1 Queue 2 Topic B Queue 0 Queue 1 Producer Producer Producer

消息生产消费流程对比

Producer Broker Consumer Kafka 消息流程 1. 发送消息到指定Topic/Partition 2. 消息持久化并分配Offset 3. 拉取指定Topic/Partition的消息 4. 返回消息及Offset 5. 提交已消费的Offset RocketMQ 消息流程 1. 发送消息到指定Topic 2. 消息持久化到CommitLog 3. 异步构建ConsumeQueue 4. 拉取指定Topic/Queue的消息 5. 返回消息及位置信息 6. 返回消费状态(ACK) Producer Broker Consumer

核心概念详细说明

Kafka 核心概念

  1. Topic(主题):消息的逻辑分类,类似于数据库中的表
  2. Partition(分区) :每个Topic可以分为多个分区,提供并行处理能力
    • 每个分区是一个有序、不可变的消息序列
    • 分区可以分布在不同的Broker上
  3. Offset(偏移量):分区中每条消息的唯一标识符
  4. Producer(生产者):向Kafka主题发布消息的客户端
  5. Consumer(消费者):订阅主题并处理消息的客户端
  6. Consumer Group(消费者组) :一组消费者共同消费一个主题
    • 每个分区只能被组内的一个消费者消费
  7. Broker(代理):Kafka集群中的每个服务器节点
  8. Replica(副本) :分区的备份,提供高可用性
    • Leader副本处理所有读写请求
    • Follower副本从Leader同步数据

RocketMQ 核心概念

  1. Topic(主题):消息的逻辑分类
  2. Message Queue(消息队列) :类似于Kafka的分区,但有一些差异
    • 提供并行处理能力
    • 消息在队列中先进先出
  3. Producer(生产者):消息发送者
  4. Consumer(消费者):消息接收者
  5. Consumer Group(消费者组):一组消费者共同消费一个主题
  6. Broker(代理):RocketMQ服务器,负责消息存储和转发
  7. NameServer(命名服务) :轻量级的服务发现组件
    • 管理Broker和Topic的路由信息
  8. Tag(标签):消息的二级分类,用于更细粒度的消息过滤
  9. CommitLog(提交日志):所有消息的物理存储文件
  10. ConsumeQueue(消费队列):逻辑队列,存储消息在CommitLog中的位置

关键差异总结

特性 Kafka RocketMQ
服务发现 使用ZooKeeper 使用NameServer
消息存储 按分区存储 所有消息存储在CommitLog,逻辑队列存储索引
消息过滤 基于分区 基于Tag和SQL表达式
消息顺序 分区内有序 队列内有序
事务消息 支持 支持更完整的事务机制
延迟消息 有限支持 支持18个延迟级别
消息重试 需要自行实现 内置死信队列和重试机制

这些图表和说明展示了Kafka和RocketMQ的核心概念和架构差异,帮助理解两者的设计哲学和适用场景。

相关推荐
数据智能老司机8 分钟前
建构 AI Agent 应用——Agentic 系统的学习机制
架构·llm·agent
brzhang30 分钟前
把网页的“好句子”都装进侧边栏:我做了个叫 Markbox 的收藏器,开源!
前端·后端·架构
Hello.Reader1 小时前
Kafka 授权与 ACL 深入实践
分布式·kafka·linq
上园村蜻蜓队长1 小时前
ARM芯片架构之coresight 时间戳组件介绍
arm开发·架构
数据智能老司机2 小时前
建构 AI Agent 应用——编排
架构·llm·agent
拉姆哥的小屋3 小时前
突破传统!基于SAM架构的双模态图像分割:让AI“看见“红外与可见光的完美融合
人工智能·架构
做运维的阿瑞3 小时前
Python核心架构深度解析:从解释器原理到GIL机制全面剖析
开发语言·python·架构·系统架构
可触的未来,发芽的智生11 小时前
新奇特:神经网络的集团作战思维,权重共享层的智慧
人工智能·python·神经网络·算法·架构
安当加密15 小时前
如何设计量子密钥管理系统?——面向后量子时代的密钥管理架构与核心功能探讨
架构·量子计算
虫小宝15 小时前
返利机器人的智能对话架构:基于NLP(ChatGLM)+Spring Boot的客服机器人开发实践
架构