Kafka

Kafka是一个分布式流处理平台,主要用于构建实时数据管道和流应用程序。它可以看作是一个消息队列服务,但与传统消息队列相比,具有更高的吞吐量、更好的可扩展性和持久性。

支持大规模的消息处理,确保消息的持久化和顺序性

为了通俗地理解Kafka,我们可以把它比作一个"大型的广播电台",

  1. 生产者(Producers):生产者就是信息的发布者 ,比如新闻主播。在Kafka中,生产者是指那些发布消息到Kafka队列的应用程序或系统

  2. Kafka集群(Kafka Cluster):这相当于广播电台的设施,包括发射塔、控制室等。Kafka集群由多个服务器组成,这些服务器协同工作,存储消息并对消费者提供服务。

  3. 消费者(Consumers):消费者就是听众,也是信息的接收者。在Kafka中,消费者是指那些从Kafka队列中读取消息的应用程序或系统。

  4. 消息(Messages):就是广播电台播放的内容 。在Kafka中,消息是由生产者发布,消费者读取的数据单元

  5. 主题(Topics):可以理解为广播电台的不同频道 。在Kafka中,消息被分类存储在不同的主题中,生产者和消费者都是针对特定主题进行操作的。

  6. 分区(Partitions):类似于广播电台的不同直播间一个主题可以有多个分区 ,不同的分区可以分布在Kafka集群的不同服务器上,以提高系统的吞吐量和可用性。

相关推荐
齐木卡卡西在敲代码2 小时前
kafka的pull的依据
分布式·kafka
超级迅猛龙2 小时前
保姆级Debezium抽取SQL Server同步kafka
数据库·hadoop·mysql·sqlserver·kafka·linq·cdc
lllsure3 小时前
RabbitMQ 基础
分布式·rabbitmq
DN金猿6 小时前
rabbitmq发送的延迟消息时间过长就立即消费了
分布式·rabbitmq
ejinxian7 小时前
MySQL/Kafka数据集成同步,增量同步及全量同步
数据库·mysql·kafka
武子康9 小时前
大数据-74 Kafka 核心机制揭秘:副本同步、控制器选举与可靠性保障
大数据·后端·kafka
程序员不迷路9 小时前
Kafka学习
分布式·kafka
北i9 小时前
ZooKeeper 一致性模型解析:线性一致性与顺序一致性的平衡
分布式·zookeeper·云原生
IT技术小密圈9 小时前
图解分布式锁: 5分钟搞懂分布式锁
分布式·后端·面试
bing_15810 小时前
kafka 生产者是如何发送消息的?
分布式·kafka