29 kafka动态配置

为什么需要动态配置

线上运行的kafka broker修改配置需要重启的话,影响比较大。需要一个不需要重启就能使参数生效的功能

使用的场景

配置优先级:

per-broker参数 > cluster-wide参数 > static参数 > 默认参数

1.动态调整network线程数和工作线程数来扩缩容

2.修改日志的留存时间。不可能完美预估所有业务的消息留存时长

3.ssl相关参数。能创建过期时间很短的SSL证书,调整时kafka会重新配置socket连接并更新keystore,新的连接会使用新的keystore。
kafka如何使用的ssl[TODO]

4.调整follower向leader拉消息的线程数

评论区问题

1.动态配置的实现原理[TODO]

配置保存在zookeeper中,动态监听这个变更

2.follower为什么会拉取副本慢?它不负责读写只专心同步副本数据,增加线程就有用吗?

拉取是异步的网络请求。一个Broker上可能有很多follower副本 ,增加线程可以均匀分散这些follower副本来去任务
kafka follower拉取副本过程细节[TODO] ,比如follower拉取消息的间隔时间配置,请求是异步的?

3.怎样知道什么时候该调整这两组线程池大小?

可以监控请求队列的大小,可以看看broker端的请求队列的JMX指标

相关推荐
腾讯云中间件9 小时前
限流系列之二:TDMQ CKafka 版限流方案详解及最佳实践
kafka·消息队列·腾讯
腾讯云中间件14 小时前
TDMQ CKafka 版事务:分布式环境下的消息一致性保障
kafka·消息队列·腾讯
Edingbrugh.南空15 小时前
Kafka Connect生产实践:性能优化与高可用架构构建
性能优化·架构·kafka
暗离子跃迁2 天前
达梦数据库单机部署dmhs同步复制(dm8->kafka)
linux·运维·数据库·分布式·学习·kafka·达梦数据库
计算机毕设定制辅导-无忧学长2 天前
Kafka 可靠性保障:消息确认与事务机制(一)
分布式·kafka·linq
bxlj_jcj2 天前
Kafka环境搭建全攻略:从Docker到Java实战
java·docker·kafka
苏格拉没有底_coder2 天前
引入 Kafka 消息队列解耦热点操作
分布式·kafka
陈卓4103 天前
MQ选型及RocketMQ架构总览
中间件·kafka·消息队列·rabbitmq·rocketmq
一眼万年043 天前
Kafka APIs 深度解析:请求处理架构与核心流程
微服务·kafka
fajianchen3 天前
如何调优Kafka
分布式·kafka