hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
IvanCodes2 小时前
七、深入 Hive DDL:管理表、分区与洞察元数据
数据仓库·hive·hadoop
七七-d2 小时前
配置Hadoop集群-上传文件
大数据·hadoop·eclipse
lix的小鱼4 小时前
安装Hadoop并运行WordCount程序
大数据·linux·hadoop
Freedom℡7 小时前
使用scp命令拷贝hadoop100中文件到其他虚拟机中
数据库·hadoop·spark
依年南台8 小时前
Hadoop的目录结构和组成
大数据·hadoop·分布式
互联网搬砖老肖9 小时前
Web 架构之负载均衡会话保持
前端·架构·负载均衡
依年南台11 小时前
安装Hadoop并运行WordCount程序
大数据·hadoop
showmethetime12 小时前
搭建高可用及负载均衡的Redis
运维·redis·负载均衡
依年南台12 小时前
Spark处理过程-案例数据清洗
大数据·hadoop
π大星星️21 小时前
HAProxy + Keepalived + Nginx 高可用负载均衡系统
运维·nginx·负载均衡