Kafka基本架构

「kafka设计思想」

一个最基本的架构是生产者发布一个消息到Kafka的一个Topic ,该Topic的消息存放于的Broker中,消费者订阅这个Topic,然后从Broker中消费消息,下面这个图可以更直观的描述这个场景:

**「消息状态:」**在Kafka中,消息是否被消费的状态保存在Consumer中,Broker不会关心消息是否被消费或被谁消费,Consumer会记录一个offset值(指向partition中下一条将要被消费的消息位置),如果offset被错误设置可能导致同一条消息被多次消费或者消息丢失。

**「消息持久化:」**Kafka会把消息持久化到本地文件系统中,并且具有极高的性能。

**「批量发送:」**Kafka支持以消息集合为单位进行批量发送,以提高效率。

**「Push-and-Pull:」**Kafka中的Producer和Consumer采用的是Push-and-Pull模式,即Producer向Broker Push消息,Consumer从Broker Pull消息。

**「分区机制(Partition):」**Kafka的Broker端支持消息分区,Producer可以决定把消息发到哪个Partition,在一个Partition中消息的顺序就是Producer发送消息的顺序,一个Topic中的Partition数是可配置的,Partition是Kafka高吞吐量的重要保证。

「系统架构」

通常情况下,一个kafka体系架构包括**「多个Producer」 「多个Consumer」 「多个broker」以及「一个Zookeeper集群」**。

「Producer」:生产者,负责将消息发送到kafka中。

「Consumer」:消费者,负责从kafka中拉取消息进行消费。

「Broker」:Kafka服务节点,一个或多个Broker组成了一个Kafka集群

「Zookeeper集群」:负责管理kafka集群元数据以及控制器选举等。

Kafka核心知识点大梳理 | 二哥的Java进阶之路

相关推荐
zandy10116 小时前
Agentic BI 架构实战:当AI Agent接管数据建模、指标计算与可视化全链路
人工智能·架构
薪火铺子8 小时前
微服务认证方案对比与选型
微服务·云原生·架构
运维全栈笔记9 小时前
K8S部署Redis高可用全攻略:1主2从3哨兵架构实战
redis·docker·云原生·容器·架构·kubernetes·bootstrap
weixin_4462608511 小时前
城市智能化的底层基石:基于腾讯地图服务生态的移动定位与导航架构指引
大数据·人工智能·架构
KmSH8umpK13 小时前
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第三篇
redis·分布式·wpf
@#¥&~是乱码鱼啦13 小时前
Spring分层架构:Controller、Service、Mapper数据链路,IOC的真实工作意义
java·spring·架构
vortex513 小时前
SafeLine 雷池WAF 真实体验,谈谈架构与原理
架构
该昵称用户已存在14 小时前
MyEMS 开源能源管理系统:模块化架构赋能精细化能源管控
架构·开源·能源
Ulyanov14 小时前
《现代 Python 桌面应用架构实战:PySide6 + QML 从入门到工程化》 开发环境搭建与工具链极简主义 —— 拒绝臃肿,构建工业级基座
开发语言·python·qt·ui·架构·系统仿真
郭龙_Jack14 小时前
Kubernetes 架构一张图讲透
架构