kafka在线增加分区副本数

1、问题来源

线上有一个物联网项目依赖kafka集群中指定主题消费,前些天kafka集群中的某一台机器出现了故障,导致kafka这个主题的数据一直无法消费,经查发现为了保证消息的顺序性此主题仅设置了一个分区,但是副本也仅有一个,这样就导致生产端的ack设置成all也无法保证消息的丢失。为保证即使有一个节点宕机kafka服务也能正常进行,须增加此主题的分区副本数为broker数

2、解决方案

两个方案:

  1. 通过删掉主题再新增时设置分区的副本数

  2. 通过kafka服务端提供的工具来增加副本数

由于有多个消费者组都订阅了此主题,第一种方案会造成还偏移量还未达到最新的数据就彻底丢失了,故还是选择第二种方案

3、最终方案

  1. 先登录kafka集群中任意一台机器,进入到kafka的HOME目录

  2. 编写 t.json

java 复制代码
{"version":1,"partitions":[{"topic":"主题名称","partition":0,"replicas":[0,2,1]}]}
  1. 执行命令
bash 复制代码
./bin/kafka-reassign-partitions.sh --bootstrap-server kafka节点IP:9092 --execute --reassignment-json-file t.json

当shell终端返回下面的提示就表示操作成功

Successfully started partition reassignment for 主题名-0

4、检查主题的副本数

执行下面的命令可以查看

bash 复制代码
./bin/kafka-topics.sh --bootstrap-server kafka节点IP:9092 --describe --topic 主题名称

至此问题得到解决

相关推荐
椿融雪1 小时前
分布式搜索和分析引擎Elasticsearch实战指南
大数据·分布式·elasticsearch
沈健_算法小生2 小时前
Kafka 重复消费与 API 幂等消费解决方案
分布式·kafka·linq
Gauss松鼠会2 小时前
GaussDB调优核心逻辑:分布式架构下的性能挑战
分布式·架构·gaussdb
linweidong2 小时前
深入剖析 Spark Shuffle 机制:从原理到实战优化
大数据·分布式·spark·spark sql·数据开发·shuffle·数据倾斜
想你依然心痛3 小时前
Spark大数据分与实践笔记(第五章 HBase分布式数据库-04)
大数据·数据库·分布式
HeXDev5 小时前
【CDH】CDH环境中升级ZooKeeper的实战记录
分布式·zookeeper·云原生·cdh
SoFlu软件机器人14 小时前
秒级构建消息驱动架构:描述事件流程,生成 Spring Cloud Stream+RabbitMQ 代码
分布式·架构·rabbitmq
smileNicky14 小时前
RabbitMQ消息确认机制有几个confirm?
分布式·rabbitmq
静若繁花_jingjing20 小时前
电商项目_核心业务_分布式ID服务
分布式
道一云黑板报20 小时前
Spark初探:揭秘速度优势与生态融合实践
大数据·分布式·spark·流式处理