kafka负载均衡迁移(通过kafka eagle)

在grafana监控中发现kafka的各个节点磁盘不均匀

出现这样的情况是因为kafka默认是以文件数作为平衡的条件的。换句话说,kafka不会管一个副本有多大,只会看磁盘中有多少个副本文件。

解决方式:

1、修改策略,改为按照磁盘大小平衡数据

2、手动迁移数据,将磁盘使用率高的节点数据迁移到磁盘使用率低的节点

本文介绍第二种方式,手动迁移数据。

1 进入磁盘使用率高的机器/kafka-logs,通过du -h找一个数据量大的topic:这里以my_topic为例

2 去kafka eagle中查看该topic的副本分布情况

2.1、登录kafka eagle
2.2、点击左侧Topics中的hub,查找对应的topic
2.3、把 Current Partition Replica Assignment中的数据拷贝到文本编辑器中

3 查看监控 ,去使用率高的机器的对应磁盘中找到my_topic的副本

3.1、进入磁盘使用率高的那台机器,在kafka-logs 中,使用命令:du -h |grep my_topic

可以看到副本的大小,以及对应的分区 例如my_topic_4 10G

3.2、在2.3的分区分布情况文件中,查找4分区对应的情况

通过vim /kafka-logs/meta.properties查看本台机器的kafkaid为:1001

再次查看grafana监控,查看最低磁盘使用率的机器是哪一个,查看他的kafkaid(/kafka-logs/meta.properties中)

3.3、将4号分区的1001修改为1004

4 将使用率多的机器中的副本修改为使用率少的kafkaid之后,把修改后的kafka分区文件放到 Proposed Partition Reassignment Configuartion中

然后点击上方的execute按钮

5 可通过点击Verify按钮后,在下方的Result中看到副本迁移的进度

5.1 、也可通过zookeeper中的元数据查看迁移任务是否已经完成

命令:sh /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --zookeeper hk-hdfs-util:2181 hk-hdfs-master01:2181 hk-hdfs-master02:2181 --topic my_topic --describe

相关推荐
简婷1870199877518 分钟前
高速路上的 “阳光哨兵”:分布式光伏监控系统守护能源高效运转
分布式·能源
bianguanyue36 分钟前
SQLite密码修改故障排查:RSA加密随机性导致的数据库匹配问题
数据库·sqlite·c#
csdn_aspnet1 小时前
在 Ubuntu 上安装和配置 Kafka
ubuntu·kafka
亚马逊云开发者1 小时前
将 Go 应用从 x86 平台迁移至 Amazon Graviton:场景剖析与最佳实践
linux·数据库·golang
钺商科技1 小时前
【6.1.2 漫画分布式事务技术选型】
分布式
帅次1 小时前
系统分析师-计算机系统-输入输出系统
人工智能·分布式·深度学习·神经网络·架构·系统架构·硬件架构
张先shen2 小时前
亿级流量下的缓存架构设计:Redis+Caffeine多级缓存实战
数据库·redis·缓存
~ 小团子2 小时前
每日一SQL 【各赛事的用户注册率】
数据库·sql
llm2009093 小时前
Jmeter的JDBC数据库连接
数据库·jmeter
betazhou3 小时前
SQL server之版本的初认知
数据库·oracle·goldengate·sql server·ogg·gdr