hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
君不见,青丝成雪13 分钟前
hadoop技术栈(九)Hbase替代方案
大数据·hadoop·hbase
晴天彩虹雨27 分钟前
存算分离与云原生:数据平台的新基石
大数据·hadoop·云原生·spark
最初的↘那颗心7 小时前
Flink Stream API - 源码开发需求描述
java·大数据·hadoop·flink·实时计算
Lx3528 小时前
MapReduce作业调试技巧:从本地测试到集群运行
大数据·hadoop
BYSJMG8 小时前
计算机大数据毕业设计推荐:基于Spark的气候疾病传播可视化分析系统【Hadoop、python、spark】
大数据·hadoop·python·信息可视化·spark·django·课程设计
励志成为糕手8 小时前
大数据MapReduce架构:分布式计算的经典范式
大数据·hadoop·mapreduce·分布式计算·批处理
计算机毕设-小月哥14 小时前
大数据毕业设计选题推荐:基于Hadoop+Spark的城镇居民食品消费分析系统源码
大数据·hadoop·课程设计
Viking_bird1 天前
centos 7.5 + Hadoop 3.2.4 集群搭建
linux·运维·服务器·hadoop·centos
喂完待续1 天前
【Tech Arch】Spark为何成为大数据引擎之王
大数据·hadoop·python·数据分析·spark·apache·mapreduce
BYSJMG1 天前
计算机大数据毕业设计推荐:基于Hadoop+Spark的食物口味差异分析可视化系统【源码+文档+调试】
大数据·hadoop·分布式·python·spark·django·课程设计