Hadoop安装部署-NameNode高可用版

Hadoop分布式文件系统支持NameNode的高可用性,本文主要描述NameNode多节点高可用性的安装部署。

如上所示,Hadoop分布式文件系统部署了NameNode的Master主节点以及NameNode的Slave副节点,当Master主节点发生故障变得不可用时,ZooKeeper集群自动将失败转移到Slave副节点,Slave副节点继续提供服务

|--------------------------------------|---------------|
| NameNode1 Master ZooKeeper1 | 192.168.0.136 |
| DataNode1 NameNode2 Slave ZooKeeper2 | 192.168.0.137 |
| DataNode2 ZooKeeper3 | 192.168.0.138 |
| DataNode3 | 192.168.0.139 |

如上所示,NameNode主节点、NameNode副节点、DataNode集群节点、ZooKeeper集群节点的IP地址信息

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,更新主机信息配置文件,同步到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,更新ZooKeeper集群的节点属性配置文件,同步到ZooKeeper集群的其他节点

如上所示,在ZooKeeper集群节点的数据文件夹中设置myid

如上所示,在ZooKeeper集群节点中启动ZooKeeper服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的配置文件属性

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的配置文件属性

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置DataNode集群节点的主机信息

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,同步属性配置文件到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点、NameNode副索引节点中,执行格式化ZooKeeper集群节点数据文件

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的用户环境变量,同步到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,启动Hadoop集群服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,格式化NameNode主节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,启动NameNode主节点服务

如上所示,在NameNode副节点中,同步NameNode主节点的格式化信息

如上所示,在NameNode副节点中,启动NameNode副节点服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,重新启动Hadoop集群服务

|-------------------------------------------------------|
| http://192.168.0.136:9870/ http://192.168.0.137:9870/ |

如上所示,在浏览器中访问NameNode主节点或者NameNode副节点web页面,显示NameNode节点信息

如上所示,在浏览器中访问NameNode主节点或者NameNode副节点web页面,显示DataNode集群节点信息

相关推荐
geneculture6 分钟前
融智学:重构认知与实践的智慧体系
大数据·人工智能·融智学的重要应用·信智序位·人类智力·融智时代(杂志)
泰迪智能科技21 分钟前
分享|大数据人工智能实验室合作案例举例
大数据·人工智能·科技
熊文豪21 分钟前
时序数据库选型指南:如何为大数据场景选择合适的时序数据库
大数据·数据库·时序数据库·iotdb
RPA机器人就选八爪鱼28 分钟前
RPA批量采集抖音评论高效攻略:精准获取用户反馈与市场洞察
大数据·人工智能·机器人·rpa
武汉唯众智创29 分钟前
云计算与大数据实训室系列产品介绍
大数据·云计算·云计算实训室·大数据实训室·云计算实验室·云计算大数据·云计算大数据实训室
xerthwis29 分钟前
HDFS:那座正在云化与解构的“古老高墙”
大数据·数据仓库·人工智能·hdfs·数据库开发·数据库架构
中科天工37 分钟前
AGV物流+机器视觉:解锁包装车间自动化升级的核心密码
大数据·人工智能·智能
大数据追光猿42 分钟前
【大数据生产问题】Flink CDC 同步 MySQL 到 StarRocks 时因字段新增导致任务失败?
大数据·数据库·mysql·flink
武子康1 小时前
大数据-193 Apache Tez 实战:Hive on Tez 安装配置、DAG原理与常见坑
大数据·后端·apache