kafka核心组件

Kafka的核心组件主要包括以下几个:

  1. Broker:

    • Kafka集群由多个Broker组成,每个Broker是一个独立的Kafka服务器实例。
    • Broker负责维护数据,并处理生产者的数据推送和消费者的数据拉取请求。
  2. Topic:

    • Topic是Kafka中消息的分类,生产者将消息发送到特定的Topic,消费者从Topic中读取消息。
    • 每个Topic可以进一步划分为多个Partition,以支持并行处理。
  3. Partition:

    • Partition是Topic的子集,每个Partition在物理上对应一个日志文件,消息在写入时会被追加到日志文件的末尾。
    • Partition允许Topic跨多个Broker进行扩展,并支持并行处理消息。
  4. Replica:

    • 为了提供高可用性,Kafka中的每个Partition都有多个副本,称为Replicas。
    • 其中一个Replica被选举为Leader,其他为Followers。
    • Leader处理所有的读写请求,Followers从Leader复制数据。
  5. Producer:

    • 生产者是向Kafka集群发送消息的客户端应用程序。
    • 生产者可以将消息发送到特定的Topic和Partition。
  6. Consumer:

    • 消费者是读取Kafka中消息的客户端应用程序。
    • 消费者通常以组(Group)的形式存在,每个消费者组可以有一个或多个消费者。
  7. Consumer Group:

    • 消费者组是一组消费者实例的集合,它们共享订阅的主题,但每个消费者实例会消费不同Partition的消息。
  8. Controller:

    • Controller是Kafka集群中的一个特殊Broker,负责管理分区和副本的状态。
    • 当Leader副本宕机时,Controller负责选举新的Leader。

这些组件是Kafka架构中最为关键的部分,它们共同工作以提供高吞吐量、可扩展性和容错性。

相关推荐
qq_452396235 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
我不会起名字3227 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_452396237 天前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户3610588626128 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka
空奈qwq8 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
用户36105886261210 天前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
kafka
知识搬运临时工11 天前
Kafka 发 1 GiB 数据,用户态 CPU 只花 0.016 秒,总耗时反而慢了 11%
后端·kafka
一条泥憨鱼12 天前
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路
java·后端·kafka·消息队列·rabbitmq
斯普信专业组12 天前
Kafka 消费者 poll() 流程与原理详解
kafka·流程图