Kafka面试题(一)

文章目录


1、Kafka的设计架构你知道吗?

Kafka 架构包含有生产者、消费者、topic(主题)、broker(就是一台Kafka服务器),为了方便扩展,并提高吞吐量,一个topic分为多个分区、配合分区的设计提出了消费者组的概念,组内消费者并行消费,为提高数据的可靠性,每个分区有多个副本,而这些副本经过选举决定谁是Leader,谁是Follower,Leader 发生故障时,某个 Follower 会成为新的 Leader。

2、Kafka消息发送流程(面试重点)

在消息发送的过程中,会有两个线程,分别是main线程和sender线程,这两个线程中间还有一个双端队列(RecordAccumulator)。消息经过主线程的处理,发送给了双端队列,sender线程会从双端队列中拉取数据,然后再将数据发送给Kafka集群。
(下面的参数想起几个说几个:) 当然,其中还会有很多重要的参数,比如:

可以设置双端队列缓冲区的总大小,可以设置双端队列里每个队列缓存数据的最大值,默认是16KB,可以设置数据最大等待时长。

kafka集群在收到消息后也可以设置ack应答级别,有三个参数,0、1、-1,其中0代表不应答,1代表Leader应答即可,-1代表Leader 和 ISR 队列里面的所有节点都需要应答,可以设置sender线程里面最多可以缓存kafka集群没有应答的请求数量,默认为5,也可以设置数据发送失败后重新发送的次数。

3、Kafka分区的目的?

便于合理使用存储资源以及提高并行度

相关推荐
天冬忘忧1 小时前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
工业甲酰苯胺3 小时前
Python脚本消费多个Kafka topic
开发语言·python·kafka
B站计算机毕业设计超人5 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法
IT枫斗者6 小时前
如何解决Java EasyExcel 导出报内存溢出
java·服务器·开发语言·网络·分布式·物联网
谷大羽6 小时前
Kafka Stream实战教程
spring boot·后端·中间件·kafka·stream
求积分不加C6 小时前
Kafka怎么发送JAVA对象并在消费者端解析出JAVA对象--示例
java·分布式·kafka·linq
GDDGHS_7 小时前
“Kafka面试攻略:核心问题与高效回答”
分布式·面试·kafka
宋发元8 小时前
Go语言使用 kafka-go 消费 Kafka 消息教程
golang·kafka·linq
꧁薄暮꧂8 小时前
kafka中的数据清理策略
数据库·分布式·kafka
hong1616889 小时前
大数据技术Kafka详解:消息队列(Messages Queue)
大数据·分布式·kafka