Kafka基本架构

「kafka设计思想」

一个最基本的架构是生产者发布一个消息到Kafka的一个Topic ,该Topic的消息存放于的Broker中,消费者订阅这个Topic,然后从Broker中消费消息,下面这个图可以更直观的描述这个场景:

**「消息状态:」**在Kafka中,消息是否被消费的状态保存在Consumer中,Broker不会关心消息是否被消费或被谁消费,Consumer会记录一个offset值(指向partition中下一条将要被消费的消息位置),如果offset被错误设置可能导致同一条消息被多次消费或者消息丢失。

**「消息持久化:」**Kafka会把消息持久化到本地文件系统中,并且具有极高的性能。

**「批量发送:」**Kafka支持以消息集合为单位进行批量发送,以提高效率。

**「Push-and-Pull:」**Kafka中的Producer和Consumer采用的是Push-and-Pull模式,即Producer向Broker Push消息,Consumer从Broker Pull消息。

**「分区机制(Partition):」**Kafka的Broker端支持消息分区,Producer可以决定把消息发到哪个Partition,在一个Partition中消息的顺序就是Producer发送消息的顺序,一个Topic中的Partition数是可配置的,Partition是Kafka高吞吐量的重要保证。

「系统架构」

通常情况下,一个kafka体系架构包括**「多个Producer」、 「多个Consumer」、 「多个broker」以及「一个Zookeeper集群」**。

「Producer」:生产者,负责将消息发送到kafka中。

「Consumer」:消费者,负责从kafka中拉取消息进行消费。

「Broker」:Kafka服务节点,一个或多个Broker组成了一个Kafka集群

「Zookeeper集群」:负责管理kafka集群元数据以及控制器选举等。

Kafka核心知识点大梳理 | 二哥的Java进阶之路

相关推荐
vx_Biye_Design6 小时前
django就业信息推荐系统61953-计算机课程设计、毕业设计
java·vue.js·spring boot·python·架构·django·课程设计
七夜zippoe7 小时前
多 Agent 协作架构:Pipeline 模式——串行流水线设计与实战
ai·架构·pipeline·agent·串行流水线
EatFan7 小时前
从云原生到AI原生:2026后端架构“三驾马车”(事件驱动、虚拟线程、AI Agent内嵌)演进解析
spring boot·云原生·架构·虚拟线程·ai-native·ai agent·spring ai
龙亘川7 小时前
探索智慧文化服务:建设初衷、整体架构、技术支撑、发展现状与实践影响
大数据·数据库·架构
硅基手札8 小时前
【linux内核专栏 09】内核模块与 kbuild
linux·架构
代码山河8 小时前
Java的前世今生:从Oak语言到Java 23的发展史
java·学习·架构·教程·面向对象·项目
新鲜势力呀8 小时前
PHP 文件上传系统实战:从上传卡顿到分片上传 + 秒传 + 云存储架构完整优化方案
开发语言·架构·php
OnlineProxy11 小时前
企业级代理服务器架构:合规性、NDA 诚信与灰色 P2P 网络风险防范
网络·架构·p2p
Flynt18 小时前
Redis Cluster主节点挂了,为什么"高可用"还全员掉线?我把三次kill的记录翻出来了
数据库·redis·分布式
weixin_3077791318 小时前
有限产能智能排产与动态重排智能体:从需求解构到技术实现
开发语言·人工智能·算法·架构