hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
环流_1 天前
nacos:负载均衡 3大核心操作
运维·nacos·负载均衡
lifewange2 天前
Hive 数据库 增删改 完整操作指南
数据库·hive·hadoop
TDengine (老段)2 天前
TDengine VNode 生命周期 — 从创建到销毁的完整旅程
大数据·数据库·重构·系统架构·负载均衡·tdengine·涛思数据
WL_Aurora2 天前
Sqoop数据迁移工具从入门到精通
hive·hadoop·sqoop
蜀道山老天师2 天前
Prometheus监控Hadoop集群(实操完整版,含避坑指南)
大数据·linux·运维·hadoop·云原生·prometheus
切糕师学AI2 天前
gRPC 负载均衡详解:从原理到最佳实践
架构·负载均衡·grpc
再战300年2 天前
nginx之负载均衡
运维·nginx·负载均衡
极光代码工作室3 天前
基于大数据的交通流量分析系统
大数据·hadoop·python·数据分析·数据可视化
卷毛迷你猪3 天前
快速实验篇(A1)干旱气象数据上传至HDFS
大数据·hadoop·hdfs