Kafka相关面试题

kafka是什么?有什么用?

Kafka是一个分布式流处理平台,基于发布-订阅模式,在java中主要用在消息队列中。

作用:

1.解耦(订单,支付,扣库存之间无强依赖关系)、

2.削峰填谷(巨量流量冲击,缓冲处理)、

3.异步通信(Kafka异步处理订单后,发送短信通知)

kafka包含什么组件,有什么作用?

核心组件:

生产者:发送消息到Topic,由分区策略制定该主题的哪个分区;

Broker:存储,处理消息;

Topic主题:生产者发送消息到Topic,消费者从Topic中消费消息;

partition分区:每个topic有多个分区,会放置到多个不同的Broker中;

消费者:订阅并消费消息,需制定Topic和分区。

可组成消费者组,同一组内的消费者分工消费不同分区(避免重复消费),不同组可独立消费同一 Topic。

Replica(副本):每个分区有多个副本(1 个 Leader 副本 + 多个 Follower 副本),Leader 负责处理读写请求,Follower 同步 Leader 数据。若 Leader 故障,Follower 会被选举为新 Leader,保证数据不丢失。

ZooKeeper(协调者):早期 Kafka 依赖 ZooKeeper 管理集群元数据(如 Broker 节点状态、Topic 分区信息、消费者组偏移量等)

类比:以服装生产到销售的全流程类比

生产者: 服装工厂 - 与批发市场里的经销商户(分区)对接,卖的是服装类(Topic);

Broker: 单个批发市场 - 入驻了不少经销商户;

分区: 经销商户 - 入驻于批发市场,将服装工厂(producer)送过来的服装(消息)存储在分区队列(经销商仓库)中;

消费者组: 经销商户的门店 - 将分区队列的消息(衣服)进行消费(悬挂售卖);

消费者: 店员 - 店员是不能直接去经销商拿货,必须以消费者组的形式消费;

备份: 相同功能的其他批发市场(防止失火停摆)

Offset(偏移量):提货清单 - 在经销商按照指定顺序,分批提货,如,第一批拿了1-99号,第二批拿100-199号衣服;

  • 简化一下就是 生产者->分区->消费者组
    其中分区是物理上位于Broker,分区逻辑上属于某个Topic,消费者组(消费只能以组的形式消费,哪怕1组只有1个消费者),消费者组消费某个topic,自动分配消费者组下的消费者去不同的分区消费
    消费者组和分区的关系:同组防重复,跨组不干涉;
    消费者组:哪怕只有1个消费者,也要组成1个消费者的组,消费时以组为单位进行消费

Kafka的分区有什么用?为什么要设计分区?

a.分区可以提高kafka 并行读写 的能力,生产者可以像不同分区发消息,无需单分区排队;

b.单topic单分区数据量大时压力极大,多分区抗压

c.分区消息按顺序写入,保证分区内的有序

d.多分区leader和follwer备份,高可用

Kafka 的生产者发送消息时,如何决定消息被分配到哪个分区?有哪些分区策略?

1.轮询策略(Round - Robin)

2.随机策略(Random)

3.按消息键(Key)的哈希值策略(某个消息键的哈希值为 10,10 % 5 = 0,那么该消息就会被发送到分区 0。)

Kafka 中的消费者组(Consumer Group)有什么作用呢?

1.实现多个分区并行消费

2.动态增减消费者,实现消费者的负载均衡

它是如何保证消息消费的一致性和负载均衡的?

3.消费一致性保证(不会重复消费,偏移量记录消费的位置)

4.负载均衡实现(消费者的存活监听,分区根据消费者增减进行再平衡分配)

Kafka 中的副本(Replica)机制是如何保障数据的可靠性和高可用性的?请详细阐述副本的角色、同步过程以及故障处理机制。

在 Kafka 生产环境中,如果生产者没把消息发送到 Broker,可能有哪些原因,你会如何排查和解决?

1.生产者与 Broker 之间网络不通,比如网络设备故障、防火墙阻挡 Kafka 通信端口(默认 9092)。

2.Kafka负载过高,请求缓慢或无法写入新消息

在 Kafka 生产环境中,假设 Broker 收到了生产者的消息并返回了 ACK,但实际上消息丢失了,可能是什么原因,该如何处理?

同步分为0(效率高,不安全) 、1(效率和安全平衡)、-1(安全,效率低)

网络波动带来的leader和follwer同步延迟,部分follower还未成功同步,leader所在的broker就宕机了;

1.优化网络,增加副本数量

2.消息队列offerset对不上,虽然ack了,但也可以让生产者重发,重发仍用原id(幂等性),最后让消费者消费;

  • 待更新
相关推荐
怪侠Kevin38 分钟前
seata事务集成kafka
数据库·分布式·kafka
技术破壁人43 分钟前
如何防止 Kafka 消息在提交过程中丢失?Spring Boot 实战指南
kafka
豫狮恒1 小时前
OpenHarmony Flutter 分布式数据管理:跨设备数据同步与一致性保障方案
分布式·flutter·wpf·openharmony
hunter1990101 小时前
redisson分布式锁实践总结
分布式
今天你TLE了吗1 小时前
Java:基于注解实现去重表消息防止重复消费
java·spring boot·分布式·spring cloud·幂等
苦学编程的谢1 小时前
RabbitMQ_6_高级特性(3)
分布式·rabbitmq
only-qi1 小时前
分布式理论的认知重构:CAP 与 BASE 的真相、边界与实践逻辑
分布式·cap·base
豫狮恒1 小时前
OpenHarmony Flutter 分布式音视频:跨设备实时流传输与协同播放方案
分布式·flutter·wpf·openharmony
回家路上绕了弯1 小时前
CAP 与 BASE:分布式系统的核心思想与实践指南
分布式·后端