Hadoop 集群扩容新增节点操作文档

Hadoop 集群扩容新增节点操作文档


一、前期准备

1. 环境检查(所有新节点)

确保 JDK 安装:

bash 复制代码
java -version

确保 Hadoop 安装:

bash 复制代码
hadoop version

添加主机名映射(所有节点):

bash 复制代码
cat >> /etc/hosts <<EOF
192.168.1.10 master
192.168.1.11 node01
192.168.1.12 node02
192.168.1.13 node03  # 新增节点
EOF

测试 SSH 免密(主节点执行):

bash 复制代码
ssh node03 hostname

2. Hadoop 安装与配置同步

将 Hadoop 安装包拷贝至新节点:

bash 复制代码
scp -r /opt/hadoop user@node03:/opt/

同步 Hadoop 配置文件:

bash 复制代码
scp -r $HADOOP_HOME/etc/hadoop user@node03:$HADOOP_HOME/etc/

二、修改主节点配置

1. 添加到 workers 文件(或 slaves)

说明:workers 文件是作为批量远程启动服务的清单使用,一般适用于远程批量启动多个节点服务。

bash 复制代码
echo "node03" >> $HADOOP_HOME/etc/hadoop/workers

2. 若启用了白名单,修改 dfs.hosts

bash 复制代码
echo "node03" >> $HADOOP_HOME/etc/hadoop/dfs.hosts

三、启动新节点服务

1. 新节点执行以下命令:

启动 DataNode:

bash 复制代码
$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode

启动 NodeManager:

bash 复制代码
$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager

2. 可选:主节点上运行 balancer(平衡数据)

bash 复制代码
hdfs balancer -threshold 10

四、验证与测试

1. 查看 HDFS 节点状态:

bash 复制代码
hdfs dfsadmin -report

或访问:

复制代码
http://<namenode_host>:9870/dfshealth.html

2. 查看 YARN 节点状态:

访问:

复制代码
http://<resourcemanager_host>:8088/cluster/nodes

3. 测试任务提交:

bash 复制代码
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi 5 100

五、扩容自动化脚本(示例)

auto_add_node.sh

bash 复制代码
#!/bin/bash
# 用于新节点自动加入 Hadoop 集群

HADOOP_HOME=/opt/hadoop
NEW_NODE=$1

echo "[INFO] 添加新节点 $NEW_NODE"

# 同步配置文件
scp -r $HADOOP_HOME/etc/hadoop $NEW_NODE:$HADOOP_HOME/etc/

# 在主节点添加到 workers 列表
echo "$NEW_NODE" >> $HADOOP_HOME/etc/hadoop/workers

# 远程启动服务
ssh $NEW_NODE "$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode"
ssh $NEW_NODE "$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager"

echo "[INFO] 启动完成,验证状态请访问 ResourceManager 和 NameNode Web 页面"

执行方式:

bash 复制代码
chmod +x auto_add_node.sh
./auto_add_node.sh node03
相关推荐
永洪科技32 分钟前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
weixin_307779131 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
ZHOU_WUYI2 小时前
一个简单的分布式追踪系统
分布式
上海锝秉工控4 小时前
防爆拉线位移传感器:工业安全的“隐形守护者”
大数据·人工智能·安全
cv高级工程师YKY4 小时前
SRE - - PV、UV、VV、IP详解及区别
大数据·服务器·uv
bxlj_jcj5 小时前
深入Flink核心概念:解锁大数据流处理的奥秘
大数据·flink
云资源服务商5 小时前
阿里云Flink:开启大数据实时处理新时代
大数据·阿里云·云计算
码不停蹄的玄黓6 小时前
MySQL分布式ID冲突详解:场景、原因与解决方案
数据库·分布式·mysql·id冲突
Aurora_NeAr6 小时前
Spark SQL架构及高级用法
大数据·后端·spark
王小王-1236 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车