hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
Boop_wu6 小时前
[Spring Cloud] Nacos核心功能详解:从负载均衡到配置中心的全链路实践
spring·spring cloud·负载均衡
isyangli_blog7 小时前
基于 OpenDaylight 的 SDN 负载均衡应用
运维·负载均衡
学***54239 小时前
软件开发新手入门实战指南
负载均衡
Nefu_lyh1 天前
【Hive】七、Hive 函数:聚合 / 统计 / 分位数 / 集合 / 高级分组
数据仓库·hive·hadoop
阿 才1 天前
跟文件系统(busybox)的构建
大数据·hadoop·分布式
abcy0712131 天前
flask celery hdfs 异步上传
python·hdfs·flask
KANGBboy1 天前
hive UDF函数
数据仓库·hive·hadoop
abcy0712131 天前
python fastapi celery hdfs 异步上传
python·hdfs·fastapi
abcy0712131 天前
python InsecureClient 上传下载查看删除实例
python·hdfs
遇见小修修1 天前
如何找到专业的电脑上门维修供应商?
运维·电脑·负载均衡