Kafka集群——(区别于Master/Slave架构的的分布式集群)

Kafka角色介绍:

  1. Producer:消息生产者:

  2. Broker: kafka实例,可以理解为一台kafka服务器,kafka cluster 是由多个broker构成的集群。

  3. Topic: 消息主题,理解为消息队列,kafka数据就保存在topic里。

  4. Partition: 消息分区,一个Topic会有多个分区, 分区的作用是负载均衡,同一个topic在不同分区内的数据是不重复的,目的是提高kafka的吞吐率。

  5. Replication:副本,每一个分区都会有副本(Follower),作用是做备用,主分区(Leader)会将数据备份到副分区(Follower),且副分区不会和主分区在同一个broker中。当主分区出现故障,会从副分区中重新推举一个leader。

  6. Message: 信息,底层是封装的ProduceRecord

  7. Consumer: 消费者,消息的消费方,消息出口。

  8. Consumer Group: 消费者组,可以将多个消费者组成一个消费者组,作用是开启多线程,加快消息的消费速度,提高吞吐率。同一分区中的数据只能由消费组中的一个消费者消费,消费者组可以消费同一Topic的不同分区的数据,实现多线程消费信息。一般消费者组中的消费者数和分区数相同。

  9. Zookeeper: kafka集群的负载均衡,保存集群的元数据(offset,稀疏索引),实现集群的高可用性。

Kafka的分区机制:

  1. 有key的话,根据Key进行hash 操作分区。

  2. 无key的话,采用轮询的方式进行分区。

kafka的发布订阅模式:

  1. 基于NIO, 异步响应,多线程。

举例:

角色分配:

2个Producer, 3个Broker, 2个Partiton,3个Replication , 2个ConsumerGroup .每个Group 有2个Consumer。

数据流转过程:

  1. Producer 生成一个ProduceRecord消息,topic为TopicA,分区机制将消息分到不同分区中,partition0, partition1.
  2. 每个Topic生成3个副本分区,分别放到不同的broker上,并选举其中一个为Leader,其余的为Follower.数据写入时先向Leader分区写入数据,然后由Leader分区向其余的Follower分区写入数据。
  3. 消息写入成功,会生成RecordMetaData元数据,记录Topic, 分区信息,offset(偏移量), 存入zk中。
  4. 消息消费:消费者组Consumer Group A 中的consumer0,consumer1分别访问TopicA的不同分区,优先访问Leader分区。
相关推荐
ClouGence2 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户36105886261218 小时前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding1 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇2 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛2 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人2 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人3 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing4 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手5 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构