kafka在线增加分区副本数

小的~~2025-05-24 8:43

1、问题来源

线上有一个物联网项目依赖kafka集群中指定主题消费，前些天kafka集群中的某一台机器出现了故障，导致kafka这个主题的数据一直无法消费，经查发现为了保证消息的顺序性此主题仅设置了一个分区，但是副本也仅有一个，这样就导致生产端的ack设置成all也无法保证消息的丢失。为保证即使有一个节点宕机kafka服务也能正常进行，须增加此主题的分区副本数为broker数

2、解决方案

两个方案：

通过删掉主题再新增时设置分区的副本数
通过kafka服务端提供的工具来增加副本数

由于有多个消费者组都订阅了此主题，第一种方案会造成还偏移量还未达到最新的数据就彻底丢失了，故还是选择第二种方案

3、最终方案

先登录kafka集群中任意一台机器,进入到kafka的HOME目录
编写 t.json

java 复制代码

{"version":1,"partitions":[{"topic":"主题名称","partition":0,"replicas":[0,2,1]}]}

执行命令

bash 复制代码

./bin/kafka-reassign-partitions.sh --bootstrap-server kafka节点IP:9092 --execute --reassignment-json-file t.json

当shell终端返回下面的提示就表示操作成功

Successfully started partition reassignment for 主题名-0

4、检查主题的副本数

执行下面的命令可以查看

bash 复制代码

./bin/kafka-topics.sh --bootstrap-server kafka节点IP:9092 --describe --topic 主题名称

至此问题得到解决