kafka是什么?有什么用?
Kafka是一个分布式流处理平台,基于发布-订阅模式,在java中主要用在消息队列中。
作用:
1.解耦(订单,支付,扣库存之间无强依赖关系)、
2.削峰填谷(巨量流量冲击,缓冲处理)、
3.异步通信(Kafka异步处理订单后,发送短信通知)
kafka包含什么组件,有什么作用?
核心组件:
生产者:发送消息到Topic,由分区策略制定该主题的哪个分区;
Broker:存储,处理消息;
Topic主题:生产者发送消息到Topic,消费者从Topic中消费消息;
partition分区:每个topic有多个分区,会放置到多个不同的Broker中;
消费者:订阅并消费消息,需制定Topic和分区。
可组成消费者组,同一组内的消费者分工消费不同分区(避免重复消费),不同组可独立消费同一 Topic。
Replica(副本):每个分区有多个副本(1 个 Leader 副本 + 多个 Follower 副本),Leader 负责处理读写请求,Follower 同步 Leader 数据。若 Leader 故障,Follower 会被选举为新 Leader,保证数据不丢失。
ZooKeeper(协调者):早期 Kafka 依赖 ZooKeeper 管理集群元数据(如 Broker 节点状态、Topic 分区信息、消费者组偏移量等)
类比:以服装生产到销售的全流程类比
生产者: 服装工厂 - 与批发市场里的经销商户(分区)对接,卖的是服装类(Topic);
Broker: 单个批发市场 - 入驻了不少经销商户;
分区: 经销商户 - 入驻于批发市场,将服装工厂(producer)送过来的服装(消息)存储在分区队列(经销商仓库)中;
消费者组: 经销商户的门店 - 将分区队列的消息(衣服)进行消费(悬挂售卖);
消费者: 店员 - 店员是不能直接去经销商拿货,必须以消费者组的形式消费;
备份: 相同功能的其他批发市场(防止失火停摆)
Offset(偏移量):提货清单 - 在经销商按照指定顺序,分批提货,如,第一批拿了1-99号,第二批拿100-199号衣服;
- 简化一下就是 生产者->分区->消费者组
其中分区是物理上位于Broker,分区逻辑上属于某个Topic,消费者组(消费只能以组的形式消费,哪怕1组只有1个消费者),消费者组消费某个topic,自动分配消费者组下的消费者去不同的分区消费
消费者组和分区的关系:同组防重复,跨组不干涉;
消费者组:哪怕只有1个消费者,也要组成1个消费者的组,消费时以组为单位进行消费;
Kafka的分区有什么用?为什么要设计分区?
a.分区可以提高kafka 并行读写 的能力,生产者可以像不同分区发消息,无需单分区排队;
b.单topic单分区数据量大时压力极大,多分区抗压 ;
c.分区消息按顺序写入,保证分区内的有序 ;
d.多分区leader和follwer备份,高可用 ;


Kafka 的生产者发送消息时,如何决定消息被分配到哪个分区?有哪些分区策略?
1.轮询策略(Round - Robin)
2.随机策略(Random)
3.按消息键(Key)的哈希值策略(某个消息键的哈希值为 10,10 % 5 = 0,那么该消息就会被发送到分区 0。)
Kafka 中的消费者组(Consumer Group)有什么作用呢?
1.实现多个分区并行消费
2.动态增减消费者,实现消费者的负载均衡
它是如何保证消息消费的一致性和负载均衡的?
3.消费一致性保证(不会重复消费,偏移量记录消费的位置)
4.负载均衡实现(消费者的存活监听,分区根据消费者增减进行再平衡分配)

Kafka 中的副本(Replica)机制是如何保障数据的可靠性和高可用性的?请详细阐述副本的角色、同步过程以及故障处理机制。

在 Kafka 生产环境中,如果生产者没把消息发送到 Broker,可能有哪些原因,你会如何排查和解决?
1.生产者与 Broker 之间网络不通,比如网络设备故障、防火墙阻挡 Kafka 通信端口(默认 9092)。
2.Kafka负载过高,请求缓慢或无法写入新消息
在 Kafka 生产环境中,假设 Broker 收到了生产者的消息并返回了 ACK,但实际上消息丢失了,可能是什么原因,该如何处理?
同步分为0(效率高,不安全) 、1(效率和安全平衡)、-1(安全,效率低)
网络波动带来的leader和follwer同步延迟,部分follower还未成功同步,leader所在的broker就宕机了;
1.优化网络,增加副本数量
2.消息队列offerset对不上,虽然ack了,但也可以让生产者重发,重发仍用原id(幂等性),最后让消费者消费;
- 待更新