kafka分区重建

创建kafka的topic:
./bin/kafka-topics.sh --create --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --replication-factor 3 --partitions 3 --topic test01

列举kafka的topic:
./bin/kafka-topics.sh --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --list

kafka 修改topic分区数据:
./bin/kafka-topics.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 -alter --partitions 3 --topic test01

数据均衡:

vi sjzn_spark_binlog_order_topic.json

生成主题分配方案:

./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --topics-to-move-json-file sjzn_spark_binlog_order_topic.json --broker-list "0,1,2" --generate Current partition replica assignment

拷贝分配方案到新的json文件中
vi expand-cluster-reassignment.json

执行分配:
./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --reassignment-json-file expand-cluster-reassignment.json --execute Current partition replica assignment

查看分区状态:
./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --reassignment-json-file expand-cluster-reassignment.json --verify

单独查看topic分区状态:
./bin/kafka-topics.sh --describe --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --topic dwd_all_metric

相关推荐
深度Linux43 分钟前
深入探讨Ceph:分布式存储架构的未来
分布式·ceph·架构·c/c++
后季暖4 小时前
kafka stream对比flink
分布式·flink·kafka
知初~11 小时前
Spark内存并行计算框架
大数据·分布式·spark
信徒_14 小时前
kafka consumer 手动 ack
分布式·kafka·linq
小猫猫猫◍˃ᵕ˂◍16 小时前
miqiu的分布式锁(二):实战——用JMeter验证JVM锁能否解决MySQL超卖问题
jvm·分布式·jmeter
tekin16 小时前
基于 Python 开发分布式任务调度系统案例剖析
分布式·python·分布式任务调度系统
小句17 小时前
Kafka 消费者组内分区分配策略 以及 管理控制台方案
分布式·kafka
数据知道19 小时前
数据存储:一文掌握RabbitMQ的详细使用
分布式·python·rabbitmq·数据存储
陌殇殇20 小时前
003 SpringBoot集成Kafka操作
spring boot·kafka
陌殇殇20 小时前
004 Kafka异常处理
中间件·kafka·springboot