Kafka基本架构

「kafka设计思想」

一个最基本的架构是生产者发布一个消息到Kafka的一个Topic ,该Topic的消息存放于的Broker中,消费者订阅这个Topic,然后从Broker中消费消息,下面这个图可以更直观的描述这个场景:

**「消息状态:」**在Kafka中,消息是否被消费的状态保存在Consumer中,Broker不会关心消息是否被消费或被谁消费,Consumer会记录一个offset值(指向partition中下一条将要被消费的消息位置),如果offset被错误设置可能导致同一条消息被多次消费或者消息丢失。

**「消息持久化:」**Kafka会把消息持久化到本地文件系统中,并且具有极高的性能。

**「批量发送:」**Kafka支持以消息集合为单位进行批量发送,以提高效率。

**「Push-and-Pull:」**Kafka中的Producer和Consumer采用的是Push-and-Pull模式,即Producer向Broker Push消息,Consumer从Broker Pull消息。

**「分区机制(Partition):」**Kafka的Broker端支持消息分区,Producer可以决定把消息发到哪个Partition,在一个Partition中消息的顺序就是Producer发送消息的顺序,一个Topic中的Partition数是可配置的,Partition是Kafka高吞吐量的重要保证。

「系统架构」

通常情况下,一个kafka体系架构包括**「多个Producer」 「多个Consumer」 「多个broker」以及「一个Zookeeper集群」**。

「Producer」:生产者,负责将消息发送到kafka中。

「Consumer」:消费者,负责从kafka中拉取消息进行消费。

「Broker」:Kafka服务节点,一个或多个Broker组成了一个Kafka集群

「Zookeeper集群」:负责管理kafka集群元数据以及控制器选举等。

Kafka核心知识点大梳理 | 二哥的Java进阶之路

相关推荐
誰能久伴不乏22 分钟前
深入解析 C++ STL 底层原理:从设计哲学到内存收割机
c++·架构·stl
ACP广源盛139246256731 小时前
GSV6155@ACP# Type-C 视频信号转换芯片:技术架构、工程痛点适配与落地场景分析
大数据·c语言·开发语言·人工智能·分布式·嵌入式硬件·架构
iLinuxUser2 小时前
V4L2 架构文档
架构
后端观测站3 小时前
第三篇:消息队列如何保证消息可靠性?
kafka·java-rocketmq
沉迷学习 日益消瘦3 小时前
20-综合实战:微服务部署
微服务·云原生·架构·kubernetes
奈斯先生Vector12 小时前
告别工具碎片化:基于 Nano Banana 全模态 AI 聚合架构搭建“文本-图像-视频”自动化协同生产线
运维·数据库·人工智能·架构·自动化·aigc·音视频
小码哥哥18 小时前
如何评价“构建企业级 AI 知识库“这一趋势?从技术架构到落地实践的完整分析
人工智能·架构
Vince的修炼之路21 小时前
RAG 文档处理技术深度分析:PDF 解析、表格提取、OCR 识别全链路
人工智能·架构
童谣11 天前
越华环保:美丽蓝天项目申报方案数字化研判架构设计与实践
架构
Dr.kangder1 天前
嵌入式软件程序分析技术:原理、方法与实战
servlet·架构·嵌入式·dsp开发