hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
ha_lydms19 分钟前
Window Functions(窗口函数)
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
ha_lydms9 小时前
Xml Functions(XML 函数)
xml·大数据·hadoop·spark·数据处理·dataworks·maxcompute
ha_lydms10 小时前
Vector Functions(向量函数)
大数据·hadoop·spark·数据处理·dataworks·maxcompute·数据中台
ha_lydms10 小时前
阿里云大数据组件
大数据·hadoop·阿里云·spark·云计算·数据处理·dataworks
EDPJ1 天前
MoE 与推测解码(Speculative Decoding)加速:为什么慢、什么时候慢、怎么让它不慢?
llm·负载均衡·大语言模型·moe·推测解码(sd)
ruxshui1 天前
Hadoop 生产运维实战手册
大数据·运维·hadoop
泡干脆面就番茄1 天前
Hive窗口函数:从原理到三大面试题
大数据·数据仓库·hive·hadoop
程序员梅雨1 天前
Hive面试总结
hive·hadoop·面试
JiMoKuangXiangQu2 天前
Linux CFS 负载均衡:从 CPU 拓扑到任务迁移
linux·负载均衡
ha_lydms4 天前
Datetime Functions(日期时间函数)
大数据·hadoop·阿里云·spark·数据处理·dataworks·maxcompute