大数据中服役新数据节点和退役旧节点步骤(hive,hadoop)

1- 节点上线操作

当要新上线数据节点的时候 ,需要把数据节点的名字追加在 dfs.hosts

(1)关闭新增节点的防火墙

(2)在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname

(3)在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname

(4)在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作

(5)在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,

(6)在其他节点上执行刷新操作 :hdfs dfsadmin -refreshNodes

(7)在 NameNode 节点上,更改 slaves 文件,将要上线的数据节点 hostname 追加到 slaves 文件 中

(8)启动 DataNode 节点

(9)查看 NameNode 的监控页面看是否有新增加的节点

2-节点下线操作

(1)修改/conf/hdfs-site.xml 文件

(2)确定需要下线的机器 ,dfs.osts.exclude 文件中配置好需要下架的机器 ,这个是阻止下架的机器去 连接 NameNode。

(3)配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后 台进行 block 块的移动。

(4)当执行三的命令完成之后,需要下架的机器就可以关闭了,可以查看现在集群上连接的节点,正在 执 行 Decommission ,会显示:Decommission Status : Decommission in progress 执行完毕后 ,会显示: Decommission Status : Decommissioned

(5)机器下线完毕 ,将他们从excludes文件中移除。

相关推荐
忆~遂愿9 分钟前
CANN metadef 深度解析:动态形状元数据管理、图编译器接口规范与序列化执行机制
大数据·linux
AI职业加油站12 分钟前
职业提升之路:我的大数据分析师学习与备考分享
大数据·人工智能·经验分享·学习·职场和发展·数据分析
风指引着方向14 分钟前
昇腾算子性能调优:ops-nn 中的内存布局与向量化技巧
java·大数据·人工智能
奥升新能源平台22 分钟前
奥升充电|充电站用户分层分析与精细化运营策略研究
java·大数据·能源
班德先生25 分钟前
以全案策划设计思维破局,让电器科技品牌力落地生根
大数据·人工智能·科技
jackzzb1234561 小时前
2026年专注大模型应用的AI创业公司盘点与选择指南
大数据·人工智能
Bingo6543211 小时前
有哪些专注大模型应用的AI创业公司值得选择?
大数据·人工智能
江瀚视野1 小时前
医疗业界首个DR智能体来了,美的医疗的新玩法该咋看?
大数据·人工智能
易营宝10 小时前
多语言网站建设避坑指南:既要“数据同步”,又能“按市场个性化”,别踩这 5 个坑
大数据·人工智能