Hadoop 集群扩容新增节点操作文档

Hadoop 集群扩容新增节点操作文档


一、前期准备

1. 环境检查(所有新节点)

确保 JDK 安装:

bash 复制代码
java -version

确保 Hadoop 安装:

bash 复制代码
hadoop version

添加主机名映射(所有节点):

bash 复制代码
cat >> /etc/hosts <<EOF
192.168.1.10 master
192.168.1.11 node01
192.168.1.12 node02
192.168.1.13 node03  # 新增节点
EOF

测试 SSH 免密(主节点执行):

bash 复制代码
ssh node03 hostname

2. Hadoop 安装与配置同步

将 Hadoop 安装包拷贝至新节点:

bash 复制代码
scp -r /opt/hadoop user@node03:/opt/

同步 Hadoop 配置文件:

bash 复制代码
scp -r $HADOOP_HOME/etc/hadoop user@node03:$HADOOP_HOME/etc/

二、修改主节点配置

1. 添加到 workers 文件(或 slaves)

说明:workers 文件是作为批量远程启动服务的清单使用,一般适用于远程批量启动多个节点服务。

bash 复制代码
echo "node03" >> $HADOOP_HOME/etc/hadoop/workers

2. 若启用了白名单,修改 dfs.hosts

bash 复制代码
echo "node03" >> $HADOOP_HOME/etc/hadoop/dfs.hosts

三、启动新节点服务

1. 新节点执行以下命令:

启动 DataNode:

bash 复制代码
$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode

启动 NodeManager:

bash 复制代码
$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager

2. 可选:主节点上运行 balancer(平衡数据)

bash 复制代码
hdfs balancer -threshold 10

四、验证与测试

1. 查看 HDFS 节点状态:

bash 复制代码
hdfs dfsadmin -report

或访问:

复制代码
http://<namenode_host>:9870/dfshealth.html

2. 查看 YARN 节点状态:

访问:

复制代码
http://<resourcemanager_host>:8088/cluster/nodes

3. 测试任务提交:

bash 复制代码
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 5 100

五、扩容自动化脚本(示例)

auto_add_node.sh

bash 复制代码
#!/bin/bash
# 用于新节点自动加入 Hadoop 集群

HADOOP_HOME=/opt/hadoop
NEW_NODE=$1

echo "[INFO] 添加新节点 $NEW_NODE"

# 同步配置文件
scp -r $HADOOP_HOME/etc/hadoop $NEW_NODE:$HADOOP_HOME/etc/

# 在主节点添加到 workers 列表
echo "$NEW_NODE" >> $HADOOP_HOME/etc/hadoop/workers

# 远程启动服务
ssh $NEW_NODE "$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode"
ssh $NEW_NODE "$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager"

echo "[INFO] 启动完成,验证状态请访问 ResourceManager 和 NameNode Web 页面"

执行方式:

bash 复制代码
chmod +x auto_add_node.sh
./auto_add_node.sh node03
相关推荐
递归尽头是星辰13 分钟前
Spark核心技术解析:从RDD到Dataset的演进与实践
大数据·rdd·dataset·spark核心·spark编程模型
白日与明月22 分钟前
对Hive表进行归档,减少小文件的影响
数据仓库·hive·hadoop
嘉禾望岗50337 分钟前
hive窗口函数与自定义函数
数据仓库·hive·hadoop
风跟我说过她2 小时前
Hadoop HA (高可用) 配置与操作指南
大数据·hadoop·分布式·zookeeper·centos
沧澜sincerely2 小时前
WSL2搭建Hadoop伪分布式环境
大数据·hadoop·搜索引擎
还是大剑师兰特3 小时前
Kafka 面试题及详细答案100道(66-80)-- 运维与部署
分布式·kafka·大剑师·kafka面试题
计算机编程小央姐9 小时前
【Spark+Hive+hadoop】基于spark+hadoop基于大数据的人口普查收入数据分析与可视化系统
大数据·hadoop·数据挖掘·数据分析·spark·课程设计
鲲志说9 小时前
数据洪流时代,如何挑选一款面向未来的时序数据库?IoTDB 的答案
大数据·数据库·apache·时序数据库·iotdb
没有bug.的程序员9 小时前
MVCC(多版本并发控制):InnoDB 高并发的核心技术
java·大数据·数据库·mysql·mvcc
nju_spy12 小时前
南京大学 - 复杂结构数据挖掘(一)
大数据·人工智能·机器学习·数据挖掘·数据清洗·南京大学·相似性分析