Kafka基本架构

「kafka设计思想」

一个最基本的架构是生产者发布一个消息到Kafka的一个Topic ,该Topic的消息存放于的Broker中,消费者订阅这个Topic,然后从Broker中消费消息,下面这个图可以更直观的描述这个场景:

**「消息状态:」**在Kafka中,消息是否被消费的状态保存在Consumer中,Broker不会关心消息是否被消费或被谁消费,Consumer会记录一个offset值(指向partition中下一条将要被消费的消息位置),如果offset被错误设置可能导致同一条消息被多次消费或者消息丢失。

**「消息持久化:」**Kafka会把消息持久化到本地文件系统中,并且具有极高的性能。

**「批量发送:」**Kafka支持以消息集合为单位进行批量发送,以提高效率。

**「Push-and-Pull:」**Kafka中的Producer和Consumer采用的是Push-and-Pull模式,即Producer向Broker Push消息,Consumer从Broker Pull消息。

**「分区机制(Partition):」**Kafka的Broker端支持消息分区,Producer可以决定把消息发到哪个Partition,在一个Partition中消息的顺序就是Producer发送消息的顺序,一个Topic中的Partition数是可配置的,Partition是Kafka高吞吐量的重要保证。

「系统架构」

通常情况下,一个kafka体系架构包括**「多个Producer」 「多个Consumer」 「多个broker」以及「一个Zookeeper集群」**。

「Producer」:生产者,负责将消息发送到kafka中。

「Consumer」:消费者,负责从kafka中拉取消息进行消费。

「Broker」:Kafka服务节点,一个或多个Broker组成了一个Kafka集群

「Zookeeper集群」:负责管理kafka集群元数据以及控制器选举等。

Kafka核心知识点大梳理 | 二哥的Java进阶之路

相关推荐
五度易链-区域产业数字化管理平台31 分钟前
五度易链企业数据服务架构思考:从“存数据”到“用数据”的全周期解决方案
大数据·人工智能·架构
CRMEB1 小时前
2026年开源电商系统技术实测榜:从架构到适配的全维度解析
架构·开源
a程序小傲2 小时前
蚂蚁Java面试被问:向量数据库的相似度搜索和索引构建
开发语言·后端·python·架构·flask·fastapi
喜欢吃豆3 小时前
企业级 AI 系统分层存储架构深度研究报告
人工智能·架构·大模型·2025博客之星
陌路203 小时前
RPC分布式通信(5)--发布 RPC 服务、处理客户端调用请求
分布式·qt·rpc
LDG_AGI4 小时前
【机器学习】深度学习推荐系统(三十):X 推荐算法Phoenix rerank机制
人工智能·分布式·深度学习·算法·机器学习·推荐算法
秋雨雁南飞4 小时前
C# 分布式消息框架
分布式
roman_日积跬步-终至千里4 小时前
【大数据】Apache Calcite架构:从 SQL 到执行计划的转换框架
大数据·架构·apache
喜欢吃豆4 小时前
PostgreSQL 高维向量存储架构深度解析:架构限制、核心原理与行业解决方案
数据库·人工智能·postgresql·架构·2025博客之星
码界奇点4 小时前
深入解析MySQL9主从复制架构详解从原理到实战
数据库·sql·架构·可用性测试