Hadoop3:HDFS-通过配置黑白名单对集群进行扩缩容,并实现数据均衡(实用)

一、集群情况介绍

我的本地虚拟机,一共有三个节点,hadoop102、hadoop103、hadoop104

二、白名单

创建白名单文件whitelist,通过白名单的配置,只允许集群包含102和103两台机器可以存储数据,104无法存储数据。

需求

1、创建白名单

bash 复制代码
这个位置是任意选择的,因为,hadoop配置文件都在这里,所以我就放这个下面了。
cd /opt/module/hadoop-3.1.3/etc/hadoop	
vim whitelist

2、HDFS关联白名单

hdfs-site.xml配置文件中增加dfs.hosts配置参数

xml 复制代码
<!-- 白名单 -->
<property>
     <name>dfs.hosts</name>
     <value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>

3、分发配置文件

bash 复制代码
xsync whitelist hdfs-site.xml

4、重启集群

第一次配置白明单,需要重启集群。

bash 复制代码
myhadoop stop
myhadoop start

5、查看页面

发现只有102和103节点

6、查看进程状态

发现104正常启动的

7、从104上传文件

bash 复制代码
 cd /opt/module/hadoop-3.1.3/
hadoop fs -put NOTICE.txt /

可以正常上传

查看页面

只有102和103有数据块,并且副本数依然是3个

8、重新配置104到白名单

分发文件

bash 复制代码
xsync whitelist

刷新节点,无需重启

bash 复制代码
hdfs dfsadmin -refreshNodes

查看页面

节点添加成功,且104也自动增加一份副本数据。

9、结论

通过上述实验,我们证明了,104被排除出集群了,可以上传文件,只是104的客户端功能。

但是,104无法存储数据块了。

实现了预期效果。

且,再次修改白名单,无需重启集群。

三、动态扩容

集群运行状态下,进行服务器节点的增加扩容。
新节点的初始化配置

添加新节点到集群

1、添加新节点到白名单文件

bash 复制代码
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim whitelist
xsync whitelist

2、单点启动新节点的Hadoop

bash 复制代码
hdfs --daemon start datanode
yarn --daemon start nodemanager

3、刷新集群白名单配置

bash 复制代码
hdfs dfsadmin -refreshNodes

4、新节点测试

上传一个文件到集群

bash 复制代码
hadoop fs -put wc.jar /

发现,无需重启集群,我们就给集群新增了一个节点,并能正常使用。

5、集群数据均衡

一般,我们新增一个节点之后,这个节点是没有数据的。

所以,我们需要进行一次数据均衡操作,这样,才能让新增的节点分担集群压力。

bash 复制代码
cd /opt/module/hadoop-3.1.3/
sbin/start-balancer.sh -threshold 10
sbin/stop-balancer.sh

命令解释
sbin/start-balancer.sh -threshold 10

对于参数10,代表的是集群中各个节点的磁盘空间利用率相差不超过10%,可根据实际情况进行调整。

sbin/stop-balancer.sh

停止均衡操作

注意:由于HDFS需要启动单独的Rebalance Server来执行Rebalance操作

所以尽量不要在NameNode上执行start-balancer.sh,而是找一台比较空闲的机器。

四、黑名单配置实现退役服务器

1、说明

黑名单:表示在黑名单的主机IP地址不可以,用来存储数据。

企业中:配置黑名单,用来退役服务器

通过定义可以知道,黑名单的IP必定在白名单中。否则,没意义。

2、配置黑名单

bash 复制代码
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim blacklist

3、HDFS关联黑名单

hdfs-site.xml配置文件中增加dfs.hosts配置参数

xml 复制代码
<!-- 白名单 -->
<property>
     <name>dfs.hosts</name>
     <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

4、分发配置

bash 复制代码
xsync blacklist hdfs-site.xml

5、刷新集群配置

bash 复制代码
hdfs dfsadmin -refreshNodes

6、查看网页

正在退役105服务器

因为105有数据,所以,需要一段时间

数据同步完成后的状态

wc.jar的副本多了一个103,说明,105的副本拷贝到103上了。

6、停止105的Hadoop服务

bash 复制代码
hdfs --daemon stop datanode
yarn --daemon stop nodemanager

需要到10分钟30秒后,才会从页面清除节点信息。

7、数据均衡

一般,退役一个节点,也要进行一次数据均衡

bash 复制代码
sbin/start-balancer.sh -threshold 10
相关推荐
IvanCodes1 小时前
Oracle 视图
大数据·数据库·sql·oracle
cal_1 小时前
数据分析中的拉链表解析
大数据·数据挖掘·数据分析
亿信华辰软件1 小时前
亿信华辰赋能大学教务数据分析实战记
大数据·数据分析
qyresearch_2 小时前
全球机械工业设计服务市场:技术驱动下的创新与增长
大数据·人工智能
前端开发与ui设计的老司机4 小时前
大数据时代UI前端的智能化升级:基于机器学习的用户意图预测
大数据·ui
oneslide4 小时前
elasticsearch备份恢复
大数据·elasticsearch·搜索引擎
rui锐rui4 小时前
大数据学习6:Sqoop数据迁移工具
大数据·学习·sqoop
小牛头#9 小时前
clickhouse 各个引擎适用的场景
大数据·clickhouse·机器学习
lifallen11 小时前
Paimon LSM Tree Compaction 策略
java·大数据·数据结构·数据库·算法·lsm-tree