Hadoop安装部署-NameNode高可用版

Hadoop分布式文件系统支持NameNode的高可用性,本文主要描述NameNode多节点高可用性的安装部署。

如上所示,Hadoop分布式文件系统部署了NameNode的Master主节点以及NameNode的Slave副节点,当Master主节点发生故障变得不可用时,ZooKeeper集群自动将失败转移到Slave副节点,Slave副节点继续提供服务

|--------------------------------------|---------------|
| NameNode1 Master ZooKeeper1 | 192.168.0.136 |
| DataNode1 NameNode2 Slave ZooKeeper2 | 192.168.0.137 |
| DataNode2 ZooKeeper3 | 192.168.0.138 |
| DataNode3 | 192.168.0.139 |

如上所示,NameNode主节点、NameNode副节点、DataNode集群节点、ZooKeeper集群节点的IP地址信息

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,更新主机信息配置文件,同步到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,更新ZooKeeper集群的节点属性配置文件,同步到ZooKeeper集群的其他节点

如上所示,在ZooKeeper集群节点的数据文件夹中设置myid

如上所示,在ZooKeeper集群节点中启动ZooKeeper服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的配置文件属性

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的配置文件属性

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置DataNode集群节点的主机信息

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,同步属性配置文件到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点、NameNode副索引节点中,执行格式化ZooKeeper集群节点数据文件

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的用户环境变量,同步到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,启动Hadoop集群服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,格式化NameNode主节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,启动NameNode主节点服务

如上所示,在NameNode副节点中,同步NameNode主节点的格式化信息

如上所示,在NameNode副节点中,启动NameNode副节点服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,重新启动Hadoop集群服务

|-------------------------------------------------------|
| http://192.168.0.136:9870/ http://192.168.0.137:9870/ |

如上所示,在浏览器中访问NameNode主节点或者NameNode副节点web页面,显示NameNode节点信息

如上所示,在浏览器中访问NameNode主节点或者NameNode副节点web页面,显示DataNode集群节点信息

相关推荐
白鲸开源33 分钟前
如何将SeaTunnel MySQL-CDC与Databend 高效整合?格式与方案全解析
大数据
深兰科技41 分钟前
南昌市新建区委书记陈奕蒙会见深兰科技集团董事长陈海波一行
大数据·人工智能·ai应用·深兰科技·陈奕蒙
Detachym43 分钟前
CentOS7下的大数据NoSQL数据库HBase集群部署
大数据·nosql·hbase
zh_199951 小时前
Spark 之 入门讲解详细版(1)
大数据·spark·mapreduce·数据库架构·etl·涛思数据·odps
G皮T2 小时前
【Elasticsearch】映射:详解 _source & store 字段
大数据·elasticsearch·搜索引擎·映射·store·mappings·_source
白鲸开源3 小时前
【生产实践】Dolphinscheduler集群部署后Web控制台不能登录的问题解决了!
大数据
随缘而动,随遇而安3 小时前
第七十七篇 数据结构基石:数组——数字世界与生活智慧的无声交响曲
大数据·数据结构·后端
IP管家3 小时前
TikTok矩阵养号实战:住宅IP纯净度与设备指纹联动方案
大数据·网络·tcp/ip·ip
qq_463944864 小时前
【Spark征服之路-2.5-Spark-Core编程(一)】
大数据·分布式·spark
下雨不打伞码农4 小时前
mkdir: Cannot create directory /spark/jars. Name node is in safe mode
大数据·分布式·spark