kafka分区重建

创建kafka的topic:
./bin/kafka-topics.sh --create --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --replication-factor 3 --partitions 3 --topic test01

列举kafka的topic:
./bin/kafka-topics.sh --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --list

kafka 修改topic分区数据:
./bin/kafka-topics.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 -alter --partitions 3 --topic test01

数据均衡:

vi sjzn_spark_binlog_order_topic.json

生成主题分配方案:

./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --topics-to-move-json-file sjzn_spark_binlog_order_topic.json --broker-list "0,1,2" --generate Current partition replica assignment

拷贝分配方案到新的json文件中
vi expand-cluster-reassignment.json

执行分配:
./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --reassignment-json-file expand-cluster-reassignment.json --execute Current partition replica assignment

查看分区状态:
./bin/kafka-reassign-partitions.sh --zookeeper
192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --reassignment-json-file expand-cluster-reassignment.json --verify

单独查看topic分区状态:
./bin/kafka-topics.sh --describe --zookeeper 192.168.70.212:2181,192.168.70.213:2181,192.168.70.214:2181 --topic dwd_all_metric

相关推荐
sww_10261 分钟前
Kafka和RocketMQ存储模型对比
分布式·kafka·rocketmq
无心水2 分钟前
【分布式利器:腾讯TSF】3、服务注册发现深度解析:构建动态弹性的微服务网络
网络·分布式·微服务·架构·分布式利器·腾讯tsf·分布式利器:腾讯tsf
奔波霸的伶俐虫6 分钟前
spring boot集成kafka学习
spring boot·学习·kafka
十月南城10 分钟前
分布式ID选型——雪花、号段、数据库自增与时钟回拨的风险控制
数据库·分布式
bentengjiayou12 分钟前
Kafka和RabbitMQ相比有什么优势?
分布式·kafka·rabbitmq
IT大白18 分钟前
5、Kafka面试相关问题
分布式·面试·kafka
qq_12498707532 小时前
基于SpringCloud的分布式演唱会抢票系统(源码+论文+部署+安装)
分布式·spring·spring cloud·毕业设计·计算机毕业设计
vx-bot5556662 小时前
1024proxy现代对抗性环境下的分布式流量调度系统架构设计
分布式·系统架构
yumgpkpm15 小时前
AI评判:信创替代对Cloudera CDH CDP Hadoop大数据平台有何影响?
大数据·hive·oracle·flink·kafka·hbase·cloudera
CRUD酱16 小时前
微服务分模块后怎么跨模块访问资源
java·分布式·微服务·中间件·java-ee