【面试】Kafka基础知识

定义

Kafka是一个分布式基于发布/订阅模式的消息队列

优点

  • 解耦:上下游之间依赖解耦。
  • 缓冲/削峰:生产消息的速度和消费消息的速度不一致时,可以起到缓冲作用。
  • 异步:天然的异步处理机制,生产者把消息(任务)放进队列,消费者把消息(任务)从队列中拿出。

关键名词

  • 生产者(Producer):消息生产者,负责给Kafka Broker发消息。
  • 消费者(Consumer):消息消费者,负责从Kafka Broker中取消息。
  • 消费者组(Consumer Group, CG):消费者组,由多个消费者组成。
  • 代理者(Broker):Kafka集群中的服务器。
  • 主题(Topic):生产者和消费者面向的队列。
  • 分区(Partition):Topic分布在多个Broker中,Topic分为多个Partition,每个Partition自己是有序的队列。
  • 消息位移(Consumer Offset):代表消费者当前消费的进度,每个消费者会维护自己的消费者唯一。
  • 副本(Replica):
    • 提高可靠性和容错能力:Kafka副本可以提高数据的可靠性和容错能力。如果某个Broker宕机,Leader副本失效,此时Follower副本会自动切换为Leader副本,确保数据的可靠性和服务的可用性。
    • 提高读取性能:Kafka读取速度非常快,部分原因是因为副本机制的支持。读取请求可以被分发到多个副本中,从而提高读取性能。
    • 提高吞吐量:Kafka可以在多个Broker之间进行数据分片,支持并行处理,从而提高吞吐量。同时,副本机制也支持并行处理,提高了吞吐量。
    • 支持数据的备份和恢复:Kafka副本机制可以支持数据备份和恢复。
  • 重平衡(Rebalance):当消费者组增加或者减少消费者的时候,其他消费者实例重新分配订阅主题分区的过程,Rebalance也是Kafka确保高可用的手段之一。

核心API

  • 生产者API:面向生产者的API,简单理解为生产者通过调用该API方法发送(发布)消息
  • 消费者API:面向消费者的API,简单理解为消费者通过调用该API方法获取(订阅)消息
  • Streams API:在一下流处理场景可以使用的API
  • Connector API:

应用场景

  • 上下游数据同步
  • 日志收集

常见面试问题

Kafka是如何保证每个消费者不多消费也不少消费?

Kafka 使用的是一种叫做 "分区 rebalance" 的机制来保证每个消费者不会多消费或少消费。具体来说,每个 Kafka 主题都会分为多个不同的分区,每个消费者在加入组时会被分配到一个或多个分区。当消费者加入组时,Kafka 会为每个消费者分配一定数量的分区。如果一个消费者失败或离开组,Kafka 会重新分配其分区给其他消费者。这就是所谓的 "分区 Rebalance",可以保证每个消费者都只消费自己被分配的分区。此外,Kafka 还会跟踪每个消费者消费的偏移量,以确保每个消费者都从正确的位置开始读取消息。这可以通过 Kafka 的消费者组协议来实现,例如,基于偏移量提交和跟踪来确保每个消费者消费正确的偏移量。

可参考知乎:Kafka如何保证不丢失不重复消费 - 知乎

Kafka实现高可用的方法?

  1. 分布式:Kafka集群是由多个Broker组成的,通常这些Broker会分布在不同的机器上。这种分散布置的好处是当集群中的某台机器出现故障时,其他机器上的Broker仍然能够提供服务,确保了系统的高可用性。
  2. 备份机制:其实思路很简单,就是将相同的数据拷贝到多台机子上,副本分为Leader Replica(主副本)和Follower Replica(从副本),Leader Replica对外提供服务,Follower Replica追随Leader Replica,并不对外提供服务。生产者向Leader Replica写消息,消费者从Leader Replica读消息,而Follower Replica主动向Leader Replica发请求让Leader Replica将最新的数据发送给他,Follower Replica接收到后进行持久化,Follower Replica唯一需要做的就是与Leader Replica保持同步,当Leader Replica数据出现问题时,Follower Replica可以顶上。
  3. 重平衡:当消费者组增加或者减少消费者的时候,其他消费者实例重新分配订阅主题分区的过程。

Kafka Broker是如何持久化数据的?

Kafka使用消息日志(Log)来存储数据,并且通过日志段机制(Log Segment)将日志细分成多个日志段,新的消息会被追加到最新的日志段中,如果当前日志段写满,则会自动切分初一个新的日志段,并且将辽的日志段保存。Kafka还有定时任务定期定理老的日志段。

相关推荐
uzong7 小时前
7 年 Java 后端,面试过程踩过的坑,我就不藏着了
java·后端·面试
BestandW1shEs12 小时前
彻底理解消息队列的作用及如何选择
java·kafka·rabbitmq·rocketmq
天冬忘忧12 小时前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
J老熊12 小时前
JavaFX:简介、使用场景、常见问题及对比其他框架分析
java·开发语言·后端·面试·系统架构·软件工程
猿java12 小时前
什么是 Hystrix?它的工作原理是什么?
java·微服务·面试
天冬忘忧13 小时前
Kafka 数据倾斜:原因、影响与解决方案
分布式·kafka
隔着天花板看星星13 小时前
Kafka-Consumer理论知识
大数据·分布式·中间件·kafka
holywangle13 小时前
解决Flink读取kafka主题数据无报错无数据打印的重大发现(问题已解决)
大数据·flink·kafka
隔着天花板看星星13 小时前
Kafka-副本分配策略
大数据·分布式·中间件·kafka
我一直在流浪14 小时前
Kafka - 消费者程序仅消费一半分区消息的问题
分布式·kafka