hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
终端行者3 小时前
Nginx四层负载均衡配置 Stream模块使用
运维·nginx·负载均衡
徐先生 @_@|||3 小时前
数据分析体系全览导图综述
大数据·hadoop·分布式·数据分析
無森~5 小时前
Hive 函数
hive·hadoop·sql
zgl_200537797 小时前
源代码:ZGLanguage 解析SQL数据血缘 之 显示 UPDATE SQL 结构图
大数据·数据库·数据仓库·hadoop·数据治理·sql解析·数据血缘
無森~9 小时前
Hive核心SQL(基础)
hive·hadoop·sql
徐先生 @_@|||9 小时前
大数据技术栈演进:从MapReduce到云原生计算的全面对比(2026年)
大数据·hadoop·云原生·spark·mapreduce
徐先生 @_@|||9 小时前
大数据处理框架(Hadoop VS PySpark)
大数据·hadoop·分布式·spark·k8s·yarn
yumgpkpm13 小时前
银行智能数据平台在Cloudera CDH6\CDP 7\CMP 7平台下的具体使用配置流程
大数据·hive·hadoop·数据挖掘·flink·spark·cloudera
Francek Chen1 天前
【大数据基础】大数据处理架构Hadoop:02 Hadoop生态系统
大数据·hadoop·分布式·hdfs·架构
德彪稳坐倒骑驴1 天前
DataX将数据在MySQL和HDFS之间互相迁移
数据库·mysql·hdfs