29 kafka动态配置

为什么需要动态配置

线上运行的kafka broker修改配置需要重启的话,影响比较大。需要一个不需要重启就能使参数生效的功能

使用的场景

配置优先级:

per-broker参数 > cluster-wide参数 > static参数 > 默认参数

1.动态调整network线程数和工作线程数来扩缩容

2.修改日志的留存时间。不可能完美预估所有业务的消息留存时长

3.ssl相关参数。能创建过期时间很短的SSL证书,调整时kafka会重新配置socket连接并更新keystore,新的连接会使用新的keystore。
kafka如何使用的ssl[TODO]

4.调整follower向leader拉消息的线程数

评论区问题

1.动态配置的实现原理[TODO]

配置保存在zookeeper中,动态监听这个变更

2.follower为什么会拉取副本慢?它不负责读写只专心同步副本数据,增加线程就有用吗?

拉取是异步的网络请求。一个Broker上可能有很多follower副本 ,增加线程可以均匀分散这些follower副本来去任务
kafka follower拉取副本过程细节[TODO] ,比如follower拉取消息的间隔时间配置,请求是异步的?

3.怎样知道什么时候该调整这两组线程池大小?

可以监控请求队列的大小,可以看看broker端的请求队列的JMX指标

相关推荐
Ulyanov3 分钟前
Apache Kafka在雷达仿真数据流处理中的应用
分布式·python·kafka·apache·雷达电子战
路飞说AI1 小时前
Kafka: 一条消息的完整“生命之旅”
kafka
indexsunny4 小时前
互联网大厂Java面试实战:核心技术与微服务架构在电商场景中的应用
java·spring boot·redis·kafka·maven·spring security·microservices
岁岁种桃花儿9 小时前
面试全系列之【Kafka】之【经典版】系列
面试·职场和发展·kafka
Devin~Y9 小时前
从Spring Boot到Spring AI:音视频AIGC内容社区Java大厂面试三轮连环问(含Kafka/Redis/安全/可观测性答案)
java·spring boot·redis·spring cloud·kafka·spring security·resilience4j
java干货11 小时前
在微服务里造一个微缩版 Kafka:Spring Boot 整合 Redis Stream 全指南
spring boot·微服务·kafka
路飞说AI1 天前
分布式事务最佳实践:基于kafka实现的最终一致性方案
kafka
Devin~Y1 天前
互联网大厂Java面试:Spring Boot/Redis/Kafka/K8s 可观测 + RAG(向量检索/Agent)三轮追问实录
java·spring boot·redis·kafka·kubernetes·spring mvc·webflux
路飞说AI1 天前
Kafka消息不丢失全攻略
kafka
落子君1 天前
kafka接受消息
kafka