Hadoop3:动态扩容之新增一台机器的初始化工作

一、需求描述

给Hadoop集群动态扩容一个节点

那么,这个节点是全新的,我们需要做哪些准备工作,才能将它融入集群了?

二、初始化配置

1、修改IP和hostname

bash 复制代码
vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname

2、复制102的hadoop、jdk安装包和环境变量文件

复制安装包,可以用普通账号进行复制

bash 复制代码
scp -r module/* atguigu@hadoop105:/opt/module/

复制环境变量文件,必须用root权限进行复制

bash 复制代码
sudo scp /etc/profile.d/my_env.sh root@hadoop105:/etc/profile.d/my_env.sh

新节点上

bash 复制代码
source /etc/profile

3、新节点上删除data和logs目录

bash 复制代码
cd /opt/module/hadoop-3.1.3
rm -rf data/ logs/

4、配置各个节点到新增节点的免密登陆

102、103、104到新节点的免密登陆

bash 复制代码
cd /home/atguigu/.ssh
ssh-copy-id hadoop105

ssh atguigu@hadoop105	验证免密登陆

5、修改Hadoop集群配置文件

在workers文件中,加入新节点域名

在whitelist文件中,加入新节点域名

在blacklist文件中,确保没有新节点域名

bash 复制代码
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim workers
vim whitelist
vim blacklist

6、修改常用的集群工具文件

这里主要是修改jpsall、xsync文件

加入新节点的域名

bash 复制代码
cd /home/atguigu/bin/

相关推荐
Francek Chen3 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠5 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
Gl�ria7 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
FserSuN7 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习
测试盐8 天前
spark作业日志定位过程
java·hadoop·spark
NiceZack9 天前
Hadoop 部署全流程教程:从新装 CentOS 到伪分布式与完全分布式
hadoop·分布式·centos
棣廷11 天前
初识Hive(2)
数据仓库·hive·hadoop
father_122711 天前
【ambari管理下hdp2.6.5升级hive1.2.1-2.1.0-2.3.3】
hive·hadoop·ambari
magic_kid_201012 天前
HDFS 故障复盘:千万级 block 导致 FBR 超过 128 MiB,DataNode 被判定为 dead
大数据·hadoop·hdfs·hadoop 故障
小刘在重生~12 天前
Servlet_day2 (上)|Servlet 整合 JDBC|请求转发 forward|Request 作用域
hive·hadoop·servlet