hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
YJlio9 小时前
1 4.1 微软商店的使用(Microsoft Store:下载/安装/管理应用与游戏)
运维·hive·hadoop·windows·游戏·microsoft·计算机外设
爱学习的小囧11 小时前
VMware ESXi 双管理网口配置全教程:新增 vmk1 端口 + 主备冗余 / 负载均衡双模式实操
运维·服务器·网络·windows·负载均衡·虚拟化
身如柳絮随风扬11 小时前
Nginx 入门教程:从安装到配置反向代理与负载均衡
运维·nginx·负载均衡
万岳科技系统开发11 小时前
私域直播系统直播间高并发访问的负载均衡方案
运维·负载均衡
七夜zippoe12 小时前
2026年4月横评:远程软件内卷破局!UU 远程凭实力成为远程工具综合首选
运维·服务器·负载均衡·远程·协助
sunxunyong20 小时前
kyuubi 连接kerberos集群配置
hadoop
坚持就完事了1 天前
Hadoop实战初步学习
hadoop·学习
wicb91wJ61 天前
Nginx反向代理与负载均衡配置详解
运维·nginx·负载均衡
喜欢流萤吖~1 天前
负载均衡器:微服务的流量分发中枢
微服务·负载均衡
It's Q1 天前
hive学习分区&&函数
hive·hadoop·学习