Hadoop3:动态扩容之新增一台机器的初始化工作

一、需求描述

Hadoop集群动态扩容一个节点

那么,这个节点是全新的,我们需要做哪些准备工作,才能将它融入集群了?

二、初始化配置

1、修改IP和hostname

bash 复制代码
vim /etc/sysconfig/network-scripts/ifcfg-ens33
vim /etc/hostname

2、复制102的hadoop、jdk安装包和环境变量文件

复制安装包,可以用普通账号进行复制

bash 复制代码
scp -r module/* atguigu@hadoop105:/opt/module/

复制环境变量文件,必须用root权限进行复制

bash 复制代码
sudo scp /etc/profile.d/my_env.sh root@hadoop105:/etc/profile.d/my_env.sh

新节点上

bash 复制代码
source /etc/profile

3、新节点上删除data和logs目录

bash 复制代码
cd /opt/module/hadoop-3.1.3
rm -rf data/ logs/

4、配置各个节点到新增节点的免密登陆

102、103、104到新节点的免密登陆

bash 复制代码
cd /home/atguigu/.ssh
ssh-copy-id hadoop105

ssh atguigu@hadoop105	验证免密登陆

5、修改Hadoop集群配置文件

workers文件中,加入新节点域名

whitelist文件中,加入新节点域名

blacklist文件中,确保没有新节点域名

bash 复制代码
cd /opt/module/hadoop-3.1.3/etc/hadoop
vim workers
vim whitelist
vim blacklist

6、修改常用的集群工具文件

这里主要是修改jpsall、xsync文件

加入新节点的域名

bash 复制代码
cd /home/atguigu/bin/

相关推荐
王小王-1236 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
王小王-1239 小时前
基于Hadoop的大规模文本词频统计分析系统设计与实现
hadoop·mapreduce·hadoop词频统计·hadoop文本统计·mapreduce词频统计
桂成林15 小时前
Hive UDF 开发实战:MD5 哈希函数实现
hive·hadoop·哈希算法
王小王-1231 天前
基于Hadoop的京东厨具商品数据分析及商品价格预测系统的设计与实现
hadoop·数据分析·京东厨具·厨具分析·商品分析
谷新龙0011 天前
大数据环境搭建指南:基于 Docker 构建 Hadoop、Hive、HBase 等服务
大数据·hadoop·docker
爱吃面的猫2 天前
大数据Hadoop之——Hbase下载安装部署
大数据·hadoop·hbase
王小王-1232 天前
基于Hadoop的餐饮大数据分析系统的设计与实现
hive·hadoop·flask·sqoop·pyecharts·hadoop餐饮大数据分析·hadoop美食数据分析
大数据CLUB2 天前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化
大数据CLUB11 天前
基于pyspark的北京历史天气数据分析及可视化_离线
大数据·hadoop·数据挖掘·数据分析·spark
張萠飛12 天前
hive集群优化和治理常见的问题答案
数据仓库·hive·hadoop