hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
liuxiaowei314 小时前
Winform+WPF双框架实战:喷涂工艺SCADA上位机从0到1搭建(附采集监控源码+车间踩坑实录)
大数据·hadoop·wpf
Thanks_ks15 小时前
深入理解一致性 Hash 算法:从理论到虚拟节点的工程实践
负载均衡·缓存雪崩·go语言·一致性hash·分布式系统·数据倾斜·虚拟节点
名字还没想好☜1 天前
Nginx 反向代理与负载均衡配置实战
运维·nginx·负载均衡
hkNaruto4 天前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式
qetfw4 天前
CentOS 7 搭建 LVS + Keepalived 高可用负载均衡
linux·centos·负载均衡·lvs
牛奶咖啡134 天前
大数据Hadoop运维应用实践——双NameNode高可用Hadoop集群架构(下)
大数据·hadoop·hadoop集群配置文件解析·hadoop高可用集群安装部署·配置指定多台服务器相互免密·配置hadoop服务开机自启·ansible部署hadoop
遇见小修修4 天前
⚠键盘失灵?5 步自查,不用花钱换新键盘
运维·服务器·数据库·计算机外设·电脑·负载均衡
李昊哲小课5 天前
spark4 集群安装
大数据·hadoop·zookeeper·spark
云飞云共享云桌面5 天前
河北钣金工厂10个solidworks设计共享一台高性能服务器的云桌面方案
运维·服务器·3d·自动化·负载均衡·制造
buligbulig5 天前
Hadoop环境安装和集群创建
大数据·hadoop·分布式