Kafka基本架构

「kafka设计思想」

一个最基本的架构是生产者发布一个消息到Kafka的一个Topic ,该Topic的消息存放于的Broker中,消费者订阅这个Topic,然后从Broker中消费消息,下面这个图可以更直观的描述这个场景:

**「消息状态:」**在Kafka中,消息是否被消费的状态保存在Consumer中,Broker不会关心消息是否被消费或被谁消费,Consumer会记录一个offset值(指向partition中下一条将要被消费的消息位置),如果offset被错误设置可能导致同一条消息被多次消费或者消息丢失。

**「消息持久化:」**Kafka会把消息持久化到本地文件系统中,并且具有极高的性能。

**「批量发送:」**Kafka支持以消息集合为单位进行批量发送,以提高效率。

**「Push-and-Pull:」**Kafka中的Producer和Consumer采用的是Push-and-Pull模式,即Producer向Broker Push消息,Consumer从Broker Pull消息。

**「分区机制(Partition):」**Kafka的Broker端支持消息分区,Producer可以决定把消息发到哪个Partition,在一个Partition中消息的顺序就是Producer发送消息的顺序,一个Topic中的Partition数是可配置的,Partition是Kafka高吞吐量的重要保证。

「系统架构」

通常情况下,一个kafka体系架构包括**「多个Producer」 「多个Consumer」 「多个broker」以及「一个Zookeeper集群」**。

「Producer」:生产者,负责将消息发送到kafka中。

「Consumer」:消费者,负责从kafka中拉取消息进行消费。

「Broker」:Kafka服务节点,一个或多个Broker组成了一个Kafka集群

「Zookeeper集群」:负责管理kafka集群元数据以及控制器选举等。

Kafka核心知识点大梳理 | 二哥的Java进阶之路

相关推荐
jiayong236 小时前
RAG系列(三):实践案例与高级优化
ai·架构·rag·智能体
rising start6 小时前
从客户端通信到分布式消息中间件
redis·分布式·kafka·rabbitmq·mq
乐兮创想 小林7 小时前
金融投资官网的工程化设计:投资者关系信息架构、合规内容管理与系统对接
金融·架构·网站建设·企业官网·北京网站建设公司
MRSM_018 小时前
若依微服务版(RuoYi-Cloud)快速上手
微服务·架构
hh.h.8 小时前
昇腾 CANN driver 层架构:软硬件接口的深度解析
架构·昇腾·driver·cann
国科安芯8 小时前
基于RISC-V架构的商业航天级MCU国产化技术路径与产业生态研究
网络·分布式·单片机·嵌入式硬件·架构·risc-v·安全性测试
fan65404148 小时前
GEO优化的技术底层:从RAG架构到信任链构建
人工智能·架构·信任链
名不经传的养虾人9 小时前
从0到1:企业级AI项目迭代日记 Vol.34|知识图谱接进来、异步嵌套修掉、依赖往回收——藏在修复里的三层架构演进
人工智能·架构·知识图谱·agent·ai编程·ai创业·企业ai
拓研C9 小时前
EM-Core自动驾驶类脑世界模型——全域客观认知底座(V1.0 正式版)
人工智能·机器学习·架构·机器人·自动驾驶·迁移学习·agi
国科安芯9 小时前
AS32S601商业航天级抗辐照MCU芯片:架构设计与技术特性研究
单片机·嵌入式硬件·算法·安全·架构·risc-v