Kafka相关面试题

kafka是什么?有什么用?

Kafka是一个分布式流处理平台,基于发布-订阅模式,在java中主要用在消息队列中。

作用:

1.解耦(订单,支付,扣库存之间无强依赖关系)、

2.削峰填谷(巨量流量冲击,缓冲处理)、

3.异步通信(Kafka异步处理订单后,发送短信通知)

kafka包含什么组件,有什么作用?

核心组件:

生产者:发送消息到Topic,由分区策略制定该主题的哪个分区;

Broker:存储,处理消息;

Topic主题:生产者发送消息到Topic,消费者从Topic中消费消息;

partition分区:每个topic有多个分区,会放置到多个不同的Broker中;

消费者:订阅并消费消息,需制定Topic和分区。

可组成消费者组,同一组内的消费者分工消费不同分区(避免重复消费),不同组可独立消费同一 Topic。

Replica(副本):每个分区有多个副本(1 个 Leader 副本 + 多个 Follower 副本),Leader 负责处理读写请求,Follower 同步 Leader 数据。若 Leader 故障,Follower 会被选举为新 Leader,保证数据不丢失。

ZooKeeper(协调者):早期 Kafka 依赖 ZooKeeper 管理集群元数据(如 Broker 节点状态、Topic 分区信息、消费者组偏移量等)

类比:以服装生产到销售的全流程类比

生产者: 服装工厂 - 与批发市场里的经销商户(分区)对接,卖的是服装类(Topic);

Broker: 单个批发市场 - 入驻了不少经销商户;

分区: 经销商户 - 入驻于批发市场,将服装工厂(producer)送过来的服装(消息)存储在分区队列(经销商仓库)中;

消费者组: 经销商户的门店 - 将分区队列的消息(衣服)进行消费(悬挂售卖);

消费者: 店员 - 店员是不能直接去经销商拿货,必须以消费者组的形式消费;

备份: 相同功能的其他批发市场(防止失火停摆)

Offset(偏移量):提货清单 - 在经销商按照指定顺序,分批提货,如,第一批拿了1-99号,第二批拿100-199号衣服;

  • 简化一下就是 生产者->分区->消费者组
    其中分区是物理上位于Broker,分区逻辑上属于某个Topic,消费者组(消费只能以组的形式消费,哪怕1组只有1个消费者),消费者组消费某个topic,自动分配消费者组下的消费者去不同的分区消费
    消费者组和分区的关系:同组防重复,跨组不干涉;
    消费者组:哪怕只有1个消费者,也要组成1个消费者的组,消费时以组为单位进行消费

Kafka的分区有什么用?为什么要设计分区?

a.分区可以提高kafka 并行读写 的能力,生产者可以像不同分区发消息,无需单分区排队;

b.单topic单分区数据量大时压力极大,多分区抗压

c.分区消息按顺序写入,保证分区内的有序

d.多分区leader和follwer备份,高可用

Kafka 的生产者发送消息时,如何决定消息被分配到哪个分区?有哪些分区策略?

1.轮询策略(Round - Robin)

2.随机策略(Random)

3.按消息键(Key)的哈希值策略(某个消息键的哈希值为 10,10 % 5 = 0,那么该消息就会被发送到分区 0。)

Kafka 中的消费者组(Consumer Group)有什么作用呢?

1.实现多个分区并行消费

2.动态增减消费者,实现消费者的负载均衡

它是如何保证消息消费的一致性和负载均衡的?

3.消费一致性保证(不会重复消费,偏移量记录消费的位置)

4.负载均衡实现(消费者的存活监听,分区根据消费者增减进行再平衡分配)

Kafka 中的副本(Replica)机制是如何保障数据的可靠性和高可用性的?请详细阐述副本的角色、同步过程以及故障处理机制。

在 Kafka 生产环境中,如果生产者没把消息发送到 Broker,可能有哪些原因,你会如何排查和解决?

1.生产者与 Broker 之间网络不通,比如网络设备故障、防火墙阻挡 Kafka 通信端口(默认 9092)。

2.Kafka负载过高,请求缓慢或无法写入新消息

在 Kafka 生产环境中,假设 Broker 收到了生产者的消息并返回了 ACK,但实际上消息丢失了,可能是什么原因,该如何处理?

同步分为0(效率高,不安全) 、1(效率和安全平衡)、-1(安全,效率低)

网络波动带来的leader和follwer同步延迟,部分follower还未成功同步,leader所在的broker就宕机了;

1.优化网络,增加副本数量

2.消息队列offerset对不上,虽然ack了,但也可以让生产者重发,重发仍用原id(幂等性),最后让消费者消费;

  • 待更新
相关推荐
alonewolf_99几秒前
ZooKeeper ZAB协议源码深度剖析:从理论到实践的分布式一致性指南
分布式·zookeeper
indexsunny6 分钟前
互联网大厂Java求职面试实战:Spring Boot微服务与Kafka消息队列解析
java·spring boot·微服务·面试·kafka·jpa
机灵猫12 小时前
Redisson 到底能做什么?从分布式锁说起
分布式
U-Mail邮件系统18 小时前
U-Mail企业邮件系统分布式部署方案
分布式
鱼跃鹰飞1 天前
面试题:Kafka的零拷贝的底层实现是什么?是MMAP还是sendFile还是其他的?
分布式·kafka·系统架构
工业甲酰苯胺1 天前
【面试题】RabbitMQ 中无法路由的消息会去到哪里?
分布式·rabbitmq
weixin_457297101 天前
Hadoop面试题
大数据·hadoop·分布式
Jackyzhe1 天前
Flink源码阅读:Kafka Connector
大数据·flink·kafka
何亚告1 天前
记一次项目上hadoop数据迁移
大数据·hadoop·分布式
少云清1 天前
【性能测试】13_JMeter _JMeter分布式
分布式·jmeter·性能测试