Kafka

Kafka是一个分布式流处理平台,主要用于构建实时数据管道和流应用程序。它可以看作是一个消息队列服务,但与传统消息队列相比,具有更高的吞吐量、更好的可扩展性和持久性。

支持大规模的消息处理,确保消息的持久化和顺序性

为了通俗地理解Kafka,我们可以把它比作一个"大型的广播电台",

  1. 生产者(Producers):生产者就是信息的发布者 ,比如新闻主播。在Kafka中,生产者是指那些发布消息到Kafka队列的应用程序或系统

  2. Kafka集群(Kafka Cluster):这相当于广播电台的设施,包括发射塔、控制室等。Kafka集群由多个服务器组成,这些服务器协同工作,存储消息并对消费者提供服务。

  3. 消费者(Consumers):消费者就是听众,也是信息的接收者。在Kafka中,消费者是指那些从Kafka队列中读取消息的应用程序或系统。

  4. 消息(Messages):就是广播电台播放的内容 。在Kafka中,消息是由生产者发布,消费者读取的数据单元

  5. 主题(Topics):可以理解为广播电台的不同频道 。在Kafka中,消息被分类存储在不同的主题中,生产者和消费者都是针对特定主题进行操作的。

  6. 分区(Partitions):类似于广播电台的不同直播间一个主题可以有多个分区 ,不同的分区可以分布在Kafka集群的不同服务器上,以提高系统的吞吐量和可用性。

相关推荐
FserSuN10 小时前
回顾Spark的概念与应用
大数据·分布式·spark
Devin~Y15 小时前
从内容社区到AI智能客服:Spring Boot + Spring Cloud + Spring AI 全栈实战面试拆解
java·spring boot·redis·elasticsearch·spring cloud·kafka·mybatis
IT机器猫17 小时前
RabbitMQ基础二
java·spring boot·分布式·spring cloud·log4j·rabbitmq·springamqp
水无痕simon17 小时前
3 RabbitMQ基础
分布式·rabbitmq·ruby
starzy19901 天前
SparkSQL 数据源与底层架构深度剖析
大数据·分布式·架构·spark
番茄炒鸡蛋加糖1 天前
RabbitMQ 全套复盘 + Nacos+ES+MyBatis-Plus 梳理
分布式·rabbitmq
零域码客2 天前
从 SQLite 到 PostgreSQL:轻量单机到分布式架构选型、避坑与迁移全解析
分布式·postgresql·sqlite·wal·架构设计·后端开发·数据库选型
ltl2 天前
2PC 的真实失败模式:阻塞、脑裂与恢复
分布式
霸道流氓气质2 天前
分布式系统设计:技术解析与实践
分布式
画中有画2 天前
分布式锁架构方案选型与实践
分布式·架构