hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
BabyFish132 小时前
hive中的四种排序类型
数据仓库·hive·hadoop·排序·order by·sorted
撕得失败的标签2 小时前
使用 Docker 搭建 Hadoop 集群
hadoop·docker·容器·debian·wsl
꧁༺朝花夕逝༻꧂4 小时前
nginx-负载均衡
nginx·负载均衡
出发行进1 天前
Hive其九,排名函数,练习和自定义函数
大数据·数据仓库·hive·hadoop·数据分析
winner88811 天前
Hive SQL 之 `LATERAL VIEW EXPLODE` 的正确打开方式
hive·hadoop·sql·explode·lateral view·hive split
m0_748235951 天前
Python毕业设计选题:基于Hadoop 的国产电影数据分析与可视化_django+spider
hadoop·python·课程设计
hao_wujing1 天前
现代网络负载均衡与代理导论
运维·网络·负载均衡
沙滩de流沙1 天前
Hadoop生态
大数据·hadoop·分布式
RodrickOMG2 天前
【大数据】Hadoop三节点集群搭建
大数据·hadoop·分布式