大数据中服役新数据节点和退役旧节点步骤(hive,hadoop)

1- 节点上线操作

当要新上线数据节点的时候 ,需要把数据节点的名字追加在 dfs.hosts

(1)关闭新增节点的防火墙

(2)在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname

(3)在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname

(4)在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作

(5)在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,

(6)在其他节点上执行刷新操作 :hdfs dfsadmin -refreshNodes

(7)在 NameNode 节点上,更改 slaves 文件,将要上线的数据节点 hostname 追加到 slaves 文件 中

(8)启动 DataNode 节点

(9)查看 NameNode 的监控页面看是否有新增加的节点

2-节点下线操作

(1)修改/conf/hdfs-site.xml 文件

(2)确定需要下线的机器 ,dfs.osts.exclude 文件中配置好需要下架的机器 ,这个是阻止下架的机器去 连接 NameNode。

(3)配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后 台进行 block 块的移动。

(4)当执行三的命令完成之后,需要下架的机器就可以关闭了,可以查看现在集群上连接的节点,正在 执 行 Decommission ,会显示:Decommission Status : Decommission in progress 执行完毕后 ,会显示: Decommission Status : Decommissioned

(5)机器下线完毕 ,将他们从excludes文件中移除。

相关推荐
中科岩创4 小时前
河北某铁矿绿色矿山建设二期自动化监测项目
大数据
java水泥工7 小时前
基于Echarts+HTML5可视化数据大屏展示-物流大数据展示
大数据·前端·echarts·html5·可视化大屏
paperxie_xiexuo7 小时前
学术与职场演示文稿的结构化生成机制探析:基于 PaperXie AI PPT 功能的流程解构与适用性研究
大数据·数据库·人工智能·powerpoint
汤姆yu8 小时前
基于大数据的出行方式推荐系统
大数据·出行方式推荐
bigdata-rookie8 小时前
Spark 部署模式
大数据·分布式·spark
芝麻开门-新起点9 小时前
贝壳GIS数据存储与房屋3D展示技术解析
大数据
玖日大大9 小时前
Gemini 3 全维度技术解析:从认知到落地实战指南
大数据
yumgpkpm12 小时前
数据可视化AI、BI工具,开源适配 Cloudera CMP 7.3(或类 CDP 的 CMP 7.13 平台,如华为鲲鹏 ARM 版)值得推荐?
人工智能·hive·hadoop·信息可视化·kafka·开源·hbase
little_xianzhong13 小时前
把一个本地项目导入gitee创建的仓库中
大数据·elasticsearch·gitee