kafka分区重建

创建kafka的topic:
./bin/kafka-topics.sh --create --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --replication-factor 3 --partitions 3 --topic test01

列举kafka的topic:
./bin/kafka-topics.sh --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --list

kafka 修改topic分区数据:
./bin/kafka-topics.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 -alter --partitions 3 --topic test01

数据均衡:

vi sjzn_spark_binlog_order_topic.json

生成主题分配方案:

./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --topics-to-move-json-file sjzn_spark_binlog_order_topic.json --broker-list "0,1,2" --generate Current partition replica assignment

拷贝分配方案到新的json文件中
vi expand-cluster-reassignment.json

执行分配:
./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --reassignment-json-file expand-cluster-reassignment.json --execute Current partition replica assignment

查看分区状态:
./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --reassignment-json-file expand-cluster-reassignment.json --verify

单独查看topic分区状态:
./bin/kafka-topics.sh --describe --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --topic dwd_all_metric

相关推荐
IIIIIILLLLLLLLLLLLL4 小时前
Hadoop集群时间同步方法
大数据·hadoop·分布式
回家路上绕了弯9 小时前
大表优化实战指南:从千万到亿级数据的性能蜕变
分布式·后端
杀死那个蝈坦9 小时前
MyBatis-Plus 使用指南
java·kafka·tomcat·mybatis—plus
CrazyClaz10 小时前
分布式事务专题5
分布式·分布式事务
灯下夜无眠11 小时前
spark集群文件分发问题
大数据·分布式·spark
少许极端12 小时前
Redis入门指南:从零到分布式缓存-string类型
redis·分布式·缓存
Macbethad13 小时前
WPF工业设备诊断管理程序技术方案
大数据·hadoop·分布式
Thomas214313 小时前
pyspark3.5给paimon1.2的表打tag报错 spark_catalog is not a ProcedureCatalog
大数据·分布式·spark
稚辉君.MCA_P8_Java14 小时前
Gemini永久会员 Hadoop分布式计算框架MapReduce
大数据·hadoop·分布式·架构·mapreduce
CrazyClaz14 小时前
分布式事务专题4
分布式·分布式事务