kafka的架构

一、架构图

Broker:一台 kafka 服务器就是一个 broker。一个kakfa集群由多个 broker 组成。一个 broker 可以容纳多个 topic。

Producer:消息生产者,就是向 kafka broker 发消息的客户端

Consumer:消息消费者,向 kafka broker 取消息的客户端。

Topic:可以理解为一个队列,一个 Topic 又分为一个或多个分区。一个topic可以有多个partition,每个partition可以有多个副本,一般是3个,副本分leader、follower角色

Consumer Group:这是 kafka 用来实现一个 topic 消息的广播(发给所有的 consumer)和单播(发给任意一个 consumer)的手段。一个 topic 可以有多个 Consumer Group。

Partition:为了实现扩展性,一个非常大的 topic 可以分布到多个 broker上,每个 partition 是一个有序的队列。partition 中的每条消息都会被分配一个有序的id(offset)。将消息发给 consumer,kafka 只保证按一个 partition 中的消息的顺序,不保证一个 topic 的整体(多个 partition 间)的顺序。

Offset:kafka 的存储文件都是按照 offset.kafka 来命名,用 offset 做名字的好处是方便查找。例如你想找位于 2049 的位置,只要找到 2048.kafka 的文件即可。当然 the first offset 就是 00000000000.kafka。

Kafka 是如何做到消息的有序性?

kafka 中的每个 partition 中的消息在写入时都是有序的,而且单独一个 partition 只能由一个消费者去消费,可以在里面保证消息的顺序性。但是分区之间的消息是不保证有序的。

kafka消费策略

kafka的三种语义

kafka为什么吞吐很大

相关推荐
丷丩27 分钟前
第3篇:技术拆解|3dtubetilecreater 前后端架构全解析(Vue+Express+PostGIS)
vue.js·3d·架构
无忧智库1 小时前
智库级深度复盘:商业航天星链协同测控云平台——从“单星孤岛”到“云网融合”的范式重构(WORD)
大数据·架构
守月满空山雪照窗1 小时前
Android CTS 深度解析:兼容性测试体系、架构与实践
android·架构
数字化顾问2 小时前
(88页PPT)DG1092D1S4培训课件EASGERP总体架构基础(附下载方式)
微服务·云原生·架构
黑牛儿2 小时前
SaaS 末日?AI Agent 重构企业服务:案例 \+ 架构 \+ 落地步骤
人工智能·重构·架构
ai大模型中转api测评2 小时前
逻辑推演之巅:Qwen 3.6-Plus 全模态架构拆解与 512k 长上下文工程化实战
人工智能·架构·api
Cyber4K2 小时前
【Nginx专项】高级进阶架构篇-Proxy正反向代理、FastCGI及PHP-FPM介绍
运维·服务器·nginx·架构·php
小红的布丁2 小时前
雪花算法:高并发场景下的分布式唯一ID生成方案解析
分布式
无忧智库2 小时前
破局与狂范:大模型上线备案与全栈架构合规深度解构指南(PPT)
大数据·架构
Rabbit_QL3 小时前
【GPU 基础】架构与内存设计
架构