kafka在线增加分区副本数

1、问题来源

线上有一个物联网项目依赖kafka集群中指定主题消费,前些天kafka集群中的某一台机器出现了故障,导致kafka这个主题的数据一直无法消费,经查发现为了保证消息的顺序性此主题仅设置了一个分区,但是副本也仅有一个,这样就导致生产端的ack设置成all也无法保证消息的丢失。为保证即使有一个节点宕机kafka服务也能正常进行,须增加此主题的分区副本数为broker数

2、解决方案

两个方案:

  1. 通过删掉主题再新增时设置分区的副本数

  2. 通过kafka服务端提供的工具来增加副本数

由于有多个消费者组都订阅了此主题,第一种方案会造成还偏移量还未达到最新的数据就彻底丢失了,故还是选择第二种方案

3、最终方案

  1. 先登录kafka集群中任意一台机器,进入到kafka的HOME目录

  2. 编写 t.json

java 复制代码
{"version":1,"partitions":[{"topic":"主题名称","partition":0,"replicas":[0,2,1]}]}
  1. 执行命令
bash 复制代码
./bin/kafka-reassign-partitions.sh --bootstrap-server kafka节点IP:9092 --execute --reassignment-json-file t.json

当shell终端返回下面的提示就表示操作成功

Successfully started partition reassignment for 主题名-0

4、检查主题的副本数

执行下面的命令可以查看

bash 复制代码
./bin/kafka-topics.sh --bootstrap-server kafka节点IP:9092 --describe --topic 主题名称

至此问题得到解决

相关推荐
励志成为糕手1 天前
Hadoop进程:深入理解分布式计算引擎的核心机制
大数据·hadoop·分布式·mapreduce·yarn
掘金-我是哪吒1 天前
分布式微服务系统架构第170集:Kafka消费者并发-多节点消费-可扩展性
分布式·微服务·架构·kafka·系统架构
何双新1 天前
第 3 讲:KAFKA生产者(Producer)详解
分布式·kafka·linq
Heliotrope_Sun1 天前
RabbitMQ
分布式·rabbitmq
KIDAKN1 天前
Redis 分布式锁
数据库·redis·分布式
KIDAKN1 天前
RabbitMQ 工作模式
分布式·rabbitmq
百思可瑞教育1 天前
ActiveMQ、RocketMQ、RabbitMQ、Kafka 的全面对比分析
vue.js·分布式·rabbitmq·rocketmq·activemq·北京百思可瑞教育·百思可瑞教育
KIDAKN1 天前
RabbitMQ 初步认识
分布式·rabbitmq
pan3035074791 天前
Kafka 和 RabbitMQ的选择
分布式·kafka·rabbitmq
hzulwy1 天前
Kafka基础理论
分布式·kafka