hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
r***113317 小时前
HDFS的架构优势与基本操作
hadoop·hdfs·架构
执笔论英雄17 小时前
【RL】 ROLL中负载均衡
运维·算法·负载均衡
youxiao_9018 小时前
LVS负载均衡集群与LVS+Keepalived集群
运维·负载均衡·lvs
AI云原生19 小时前
Docker部署多个Python项目如何使用Nginx实现负载均衡的解决方案
python·nginx·docker·云原生·容器·kubernetes·负载均衡
zhixingheyi_tian19 小时前
Hadoop 之 metrics
hadoop
伞啊伞19 小时前
LVS-DR 模式负载均衡群集
智能路由器·负载均衡·lvs
h***066519 小时前
Nginx搭建负载均衡
运维·nginx·负载均衡
不想画图19 小时前
负载均衡——LVS+Keepalived群集部署
运维·负载均衡·lvs
yumgpkpm1 天前
腾讯TBDS和Cloud Data AI CMP 比较的缺陷在哪里?
hive·hadoop·elasticsearch·zookeeper·spark·kafka·hbase
N***73851 天前
后端数据一致性
hdfs·pandas·sstable