hdfs balancer 指定节点做负载均衡

  1. hdfs集群经过两年多的运行,datanode节点间数据存储有差异,因此需要做负载均衡
  2. 命令及解读
    1. 设置数据传输的带宽

      bash 复制代码
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡,允许数据量相差5%

      bash 复制代码
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意

      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数:- policy 指定负载均衡是在datanode之间还是内部;-threshold是负载均衡单位间允许多少数据量差异;-include在哪些节点间执行(exclude不在哪些节点间执行);-source指定把哪个节点数据减少(给另外的节点)
  3. 执行结果
相关推荐
飞鸟真人20 小时前
亿级用户IM系统 之 DPVS Maglev动态权重(七、DPVS Maglev 动态负载调度)
负载均衡·dpvs·亿级im系统·动态负载均衡·maglev·动态maglev
磁场转动100万匹21 小时前
大数据入门:Hadoop 与 MapReduce 学习路线
大数据·hadoop·mapreduce
崖边看雾21 小时前
Hadoop —— HDFS 写数据流程
大数据·hadoop·hdfs
陈年老古董21 小时前
Python模拟MapReduce分治思想 | 从单文件统计到大文件拆分聚合 学习笔记
开发语言·hadoop·笔记·python·学习
崖边看雾1 天前
Hadoop —— HDFS 读流程
大数据·hadoop·hdfs
磁场转动100万匹1 天前
HDFS 与 MapReduce 核心原理详解
hadoop·hdfs·mapreduce
Jae den2 天前
负载均衡到底解决什么问题?
运维·负载均衡
BYSJMG2 天前
计算机毕设选题推荐:基于大数据的公共交通运营数据分析与可视化,Spark+K-Means聚类城市运营模式
大数据·hadoop·信息可视化·数据分析·spark·kmeans·课程设计
Gl�ria2 天前
Hadoop MapReduce/Hive 数据倾斜完整排查
hive·hadoop·mapreduce
CDN3602 天前
CDN 回源负载均衡实战:解决多源站回源流量不均、源站单点故障,出海业务配置指南
运维·负载均衡