Hadoop3:HDFS-通过配置黑白名单对集群进行扩缩容,并实现数据均衡(实用)

一、集群情况介绍

我的本地虚拟机,一共有三个节点,hadoop102、hadoop103、hadoop104

二、白名单

创建白名单文件whitelist,通过白名单的配置,只允许集群包含102和103两台机器可以存储数据,104无法存储数据。

需求

1、创建白名单

bash 复制代码
这个位置是任意选择的,因为,hadoop配置文件都在这里,所以我就放这个下面了。
cd /opt/module/hadoop-3.1.3/etc/hadoop	
vim whitelist

2、HDFS关联白名单

在hdfs-site.xml配置文件中增加dfs.hosts配置参数

xml 复制代码
<!-- 白名单 -->
<property>
     <name>dfs.hosts</name>
     <value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>

3、分发配置文件

bash 复制代码
xsync whitelist hdfs-site.xml

4、重启集群

第一次配置白明单,需要重启集群。

bash 复制代码
myhadoop stop
myhadoop start

5、查看页面

发现只有102和103节点

6、查看进程状态

发现104正常启动的

7、从104上传文件

bash 复制代码
 cd /opt/module/hadoop-3.1.3/
hadoop fs -put NOTICE.txt /

可以正常上传

查看页面

只有102和103有数据块,并且副本数依然是3个。

8、重新配置104到白名单

分发文件

bash 复制代码
xsync whitelist

刷新节点,无需重启

bash 复制代码
hdfs dfsadmin -refreshNodes

查看页面

节点添加成功,且104也自动增加一份副本数据。

9、结论

通过上述实验,我们证明了,104被排除出集群了,可以上传文件,只是104的客户端功能。

但是,104无法存储数据块了。

实现了预期效果。

且,再次修改白名单,无需重启集群。

三、动态扩容

集群运行状态下,进行服务器节点的增加扩容。
新节点的初始化配置

添加新节点到集群

1、添加新节点到白名单文件

bash 复制代码
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim whitelist
xsync whitelist

2、单点启动新节点的Hadoop

bash 复制代码
hdfs --daemon start datanode
yarn --daemon start nodemanager

3、刷新集群白名单配置

bash 复制代码
hdfs dfsadmin -refreshNodes

4、新节点测试

上传一个文件到集群

bash 复制代码
hadoop fs -put wc.jar /

发现,无需重启集群,我们就给集群新增了一个节点,并能正常使用。

5、集群数据均衡

一般,我们新增一个节点之后,这个节点是没有数据的。

所以,我们需要进行一次数据均衡操作,这样,才能让新增的节点分担集群压力。

bash 复制代码
cd /opt/module/hadoop-3.1.3/
sbin/start-balancer.sh -threshold 10
sbin/stop-balancer.sh

命令解释
sbin/start-balancer.sh -threshold 10

对于参数10,代表的是集群中各个节点的磁盘空间利用率相差不超过10%,可根据实际情况进行调整。

sbin/stop-balancer.sh

停止均衡操作

注意:由于HDFS需要启动单独的Rebalance Server来执行Rebalance操作

所以尽量不要在NameNode上执行start-balancer.sh,而是找一台比较空闲的机器。

四、黑名单配置实现退役服务器

1、说明

黑名单:表示在黑名单的主机IP地址不可以,用来存储数据。

企业中:配置黑名单,用来退役服务器。

通过定义可以知道,黑名单的IP必定在白名单中。否则,没意义。

2、配置黑名单

bash 复制代码
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim blacklist

3、HDFS关联黑名单

在hdfs-site.xml配置文件中增加dfs.hosts配置参数

xml 复制代码
<!-- 白名单 -->
<property>
     <name>dfs.hosts</name>
     <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

4、分发配置

bash 复制代码
xsync blacklist hdfs-site.xml

5、刷新集群配置

bash 复制代码
hdfs dfsadmin -refreshNodes

6、查看网页

正在退役105服务器

因为105有数据,所以,需要一段时间

数据同步完成后的状态

wc.jar的副本多了一个103,说明,105的副本拷贝到103上了。

6、停止105的Hadoop服务

bash 复制代码
hdfs --daemon stop datanode
yarn --daemon stop nodemanager

需要到10分钟30秒后,才会从页面清除节点信息。

7、数据均衡

一般,退役一个节点,也要进行一次数据均衡

bash 复制代码
sbin/start-balancer.sh -threshold 10
相关推荐
大大大大晴天2 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云3 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏4 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata5 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒5 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
回眸&啤酒鸭7 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
starzy19908 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
伞伞悦读8 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹12 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)1 天前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据