Kafka面试题(一)

文章目录


1、Kafka的设计架构你知道吗?

Kafka 架构包含有生产者、消费者、topic(主题)、broker(就是一台Kafka服务器),为了方便扩展,并提高吞吐量,一个topic分为多个分区、配合分区的设计提出了消费者组的概念,组内消费者并行消费,为提高数据的可靠性,每个分区有多个副本,而这些副本经过选举决定谁是Leader,谁是Follower,Leader 发生故障时,某个 Follower 会成为新的 Leader。

2、Kafka消息发送流程(面试重点)

在消息发送的过程中,会有两个线程,分别是main线程和sender线程,这两个线程中间还有一个双端队列(RecordAccumulator)。消息经过主线程的处理,发送给了双端队列,sender线程会从双端队列中拉取数据,然后再将数据发送给Kafka集群。
(下面的参数想起几个说几个:) 当然,其中还会有很多重要的参数,比如:

可以设置双端队列缓冲区的总大小,可以设置双端队列里每个队列缓存数据的最大值,默认是16KB,可以设置数据最大等待时长。

kafka集群在收到消息后也可以设置ack应答级别,有三个参数,0、1、-1,其中0代表不应答,1代表Leader应答即可,-1代表Leader 和 ISR 队列里面的所有节点都需要应答,可以设置sender线程里面最多可以缓存kafka集群没有应答的请求数量,默认为5,也可以设置数据发送失败后重新发送的次数。

3、Kafka分区的目的?

便于合理使用存储资源以及提高并行度

相关推荐
kruptos8 小时前
分布式系统怎么“选主“?Raft 共识一次讲清
开发语言·分布式·php·共识算法
小智老师PMP10 小时前
2026深度解析|PMP第八版与NPDP核心侧重点本质区别(管理类证书怎么选)
开发语言·分布式·算法·职场和发展·产品经理
会周易的程序员12 小时前
5Draft(五帝)测试报告
服务器·c++·分布式·raft·共识算法·共识·算力服务器
想要打 Acm 的小周同学呀18 小时前
Kafka消息队列出现挤压如何解决?
分布式·kafka
stark张宇1 天前
分布式事务最全图解(6种方案):从强一致的2PC到最终对账,彻底搞懂数据一致性
分布式·后端
会周易的程序员1 天前
5Draft使用说明书
服务器·c++·分布式·raft·共识
富士康质检员张全蛋1 天前
Kafka实战 自定义分区器 几种常见的分区器
分布式·kafka
努力努力再努力wz1 天前
【Redis入门系列】:从 RESP 协议到 redis-plus-plus:Redis 客户端编程与 C++ 接口设计
开发语言·数据库·c++·redis·分布式·缓存·架构
starzy19901 天前
Flink基础之Flink批流数据读取处理案例剖析:从文件到 Kafka 的完整代码
大数据·flink·kafka
青禾8371 天前
Git 与 SVN 完全指南:从集中式到分布式的版本控制
分布式·git·svn