Hadoop3:动态扩容之新增一台机器的初始化工作

一、需求描述

Hadoop集群动态扩容一个节点

那么,这个节点是全新的,我们需要做哪些准备工作,才能将它融入集群了?

二、初始化配置

1、修改IP和hostname

bash 复制代码
vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname

2、复制102的hadoop、jdk安装包和环境变量文件

复制安装包,可以用普通账号进行复制

bash 复制代码
scp -r module/* atguigu@hadoop105:/opt/module/

复制环境变量文件,必须用root权限进行复制

bash 复制代码
sudo scp /etc/profile.d/my_env.sh root@hadoop105:/etc/profile.d/my_env.sh

新节点上

bash 复制代码
source /etc/profile

3、新节点上删除data和logs目录

bash 复制代码
cd /opt/module/hadoop-3.1.3
rm -rf data/ logs/

4、配置各个节点到新增节点的免密登陆

102、103、104到新节点的免密登陆

bash 复制代码
cd /home/atguigu/.ssh
ssh-copy-id hadoop105

ssh atguigu@hadoop105	验证免密登陆

5、修改Hadoop集群配置文件

workers文件中,加入新节点域名

whitelist文件中,加入新节点域名

blacklist文件中,确保没有新节点域名

bash 复制代码
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim workers
vim whitelist
vim blacklist

6、修改常用的集群工具文件

这里主要是修改jpsall、xsync文件

加入新节点的域名

bash 复制代码
cd /home/atguigu/bin/

相关推荐
IT森林里的程序猿12 小时前
基于Hadoop的京东电商平台手机推荐系统的设计与实现
大数据·hadoop·智能手机
秃头菜狗13 小时前
十四、运行经典案例 wordcount
大数据·linux·hadoop
Java战神14 小时前
Hadoop
大数据·hadoop·分布式
智海观潮19 小时前
HBase高级特性、rowkey设计以及热点问题处理
大数据·hadoop·hbase
MeyrlNotFound2 天前
Hadoop YARN 与 MapReduce 基础关系及 YARN 核心架构细化解析
hadoop·架构·mapreduce
IT学长编程2 天前
计算机毕业设计 基于EChants的海洋气象数据可视化平台设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·python·毕业设计·课程设计·毕业论文·海洋气象数据可视化平台
Yana_Zeng2 天前
win10安装spark3.1详细流程(小白用)
hadoop·windows·spark
笨蛋少年派2 天前
HDFS简介
大数据·hadoop·hdfs
K_i1343 天前
中国电信用户行为实时分析系统运维实战
hadoop·mysql
风跟我说过她3 天前
Sqoop的安装与配置
hive·hadoop·经验分享·centos·hbase·sqoop