大数据中服役新数据节点和退役旧节点步骤(hive,hadoop)

1- 节点上线操作

当要新上线数据节点的时候 ,需要把数据节点的名字追加在 dfs.hosts

(1)关闭新增节点的防火墙

(2)在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname

(3)在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname

(4)在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作

(5)在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,

(6)在其他节点上执行刷新操作 :hdfs dfsadmin -refreshNodes

(7)在 NameNode 节点上,更改 slaves 文件,将要上线的数据节点 hostname 追加到 slaves 文件 中

(8)启动 DataNode 节点

(9)查看 NameNode 的监控页面看是否有新增加的节点

2-节点下线操作

(1)修改/conf/hdfs-site.xml 文件

(2)确定需要下线的机器 ,dfs.osts.exclude 文件中配置好需要下架的机器 ,这个是阻止下架的机器去 连接 NameNode。

(3)配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后 台进行 block 块的移动。

(4)当执行三的命令完成之后,需要下架的机器就可以关闭了,可以查看现在集群上连接的节点,正在 执 行 Decommission ,会显示:Decommission Status : Decommission in progress 执行完毕后 ,会显示: Decommission Status : Decommissioned

(5)机器下线完毕 ,将他们从excludes文件中移除。

相关推荐
俊哥大数据几秒前
基于 FlinkSQL + Paimon + Doris 的车联网流批一体湖仓实践 —— 第 1 章 业务背景与传统 Lambda 架构痛点
大数据·doris·湖仓一体·flinksql·paimon
clorinda9 分钟前
Hive 窗口函数详解:让数据在分组中完成排名、累计和跨行计算
数据仓库·hive·hadoop
QYR_1117 分钟前
硝基乙烷市场规模持续扩张:2032年全球销售额预计达1.96亿美元,行业前景稳步向好
大数据·人工智能
HUIBUR科技21 分钟前
多系统整合不必搭建中台:AI中枢带来轻量化数字化集成
大数据·运维·人工智能
Codiggerworld26 分钟前
寒露·Codigger
大数据·程序员·节日
GlobalInfo33 分钟前
2026年AIoT芯片及平台市场报告正式发布:市场规模、十五五趋势与产业链全景一键获取
大数据·人工智能·ai·半导体
小羊没烦恼!38 分钟前
Windows Azure Platform体验(1):Windows Azure
java·大数据·后端·python·flask·word·.net
计算机毕业设计杰瑞1 小时前
【2027大数据精品毕设】基于大数据的高频电力消耗数据可视化与分析,附源码_数据可视化_数据分析_毕设选题_开题ppt_大数据项目_文档指导
大数据·信息可视化·课程设计
weishuangyun11 小时前
小程序制作平台怎么选?三大平台对比!
大数据·开发语言·javascript
2601_962780911 小时前
数据科学与大数据技术跨岗投递产品运营,能力拆解与求职准备
大数据·产品运营