消息队列中的topic,partition,offset,broker,消费者组

1个topic的消息会分布到多个partition分区中,每个partition中的每条消息都有一个唯一编号 offset(消费者可以通过记录这个offset来知道自己读到了哪个位置,下次接着从这往下读)

一个broker中存着来自不同topic的partition,比如topicA的partition1,topicB的partition2,topicC的partition3......,所以从物理存储来看:topic其实只是一个概念,并不是真实存在的

同一个消费组内的不同消费者是"同事"关系。它们共同分担一个 Topic 的所有 Partitions,目的是为了"更快地"处理完所有消息。一个消息只会被组内的一个"同事"处理。

不同的消费组各自独立地消费**同一个 Topic(前提是这些消费者组都订阅了这个topic)**的完整数据,互不干扰。一个消息会被每一个"订阅者"(消费组)都处理一次。

复制代码

在 Group-A 内部: 组内的某一台机器(比如 Consumer-A1)会获取并处理消息 M。组内的其他机器(Consumer-A2, Consumer-A3)不会再处理这条消息。 在 Group-B 内部: 组内的某一台机器(比如 Consumer-B1)会获取并处理同一条消息 M。 在 Group-C 内部: 组内的某一台机器(比如 Consumer-C1)也会获取并处理同一条消息 M 最终结果是:消息M Consumer-A1 Consumer-B1 Consumer-C1分别消费了一次。

相关推荐
林太白10 分钟前
Vite8 Beta来了,Rolldown携手Oxc
前端·javascript·后端
程序员小假20 分钟前
设计一个支持万人同时抢购商品的秒杀系统?
java·后端
L***d67027 分钟前
Spring Boot(七):Swagger 接口文档
java·spring boot·后端
37手游后端团队28 分钟前
gorm回读机制溯源
后端·面试·github
古城小栈28 分钟前
Rust 的 validator 库
开发语言·后端·rust
上进小菜猪1 小时前
基于 YOLOv8 的昆虫智能识别工程实践 [目标检测完整源码]
后端
superman超哥1 小时前
Rust 异步递归的解决方案
开发语言·后端·rust·编程语言·rust异步递归
开心就好20252 小时前
iOS Crash日志全面解析:结构、类型与分析方法
后端
毕设源码-钟学长2 小时前
【开题答辩全过程】以 基于Spring Boot的社区养老服务管理系统的设计与实现为例,包含答辩的问题和答案
java·spring boot·后端
nbsaas-boot3 小时前
slice / map 在 Go GC 与内存碎片上的真实成本
开发语言·后端·golang