Hadoop安装部署-NameNode高可用版

Hadoop分布式文件系统支持NameNode的高可用性,本文主要描述NameNode多节点高可用性的安装部署。

如上所示,Hadoop分布式文件系统部署了NameNode的Master主节点以及NameNode的Slave副节点,当Master主节点发生故障变得不可用时,ZooKeeper集群自动将失败转移到Slave副节点,Slave副节点继续提供服务

|--------------------------------------|---------------|
| NameNode1 Master ZooKeeper1 | 192.168.0.136 |
| DataNode1 NameNode2 Slave ZooKeeper2 | 192.168.0.137 |
| DataNode2 ZooKeeper3 | 192.168.0.138 |
| DataNode3 | 192.168.0.139 |

如上所示,NameNode主节点、NameNode副节点、DataNode集群节点、ZooKeeper集群节点的IP地址信息

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,更新主机信息配置文件,同步到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,更新ZooKeeper集群的节点属性配置文件,同步到ZooKeeper集群的其他节点

如上所示,在ZooKeeper集群节点的数据文件夹中设置myid

如上所示,在ZooKeeper集群节点中启动ZooKeeper服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的配置文件属性

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的配置文件属性

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置DataNode集群节点的主机信息

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,同步属性配置文件到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点、NameNode副索引节点中,执行格式化ZooKeeper集群节点数据文件

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,设置NameNode高可用性的用户环境变量,同步到Hadoop集群的其他节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,启动Hadoop集群服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,格式化NameNode主节点

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,启动NameNode主节点服务

如上所示,在NameNode副节点中,同步NameNode主节点的格式化信息

如上所示,在NameNode副节点中,启动NameNode副节点服务

如上所示,在Hadoop分布式文件系统的NameNode主索引节点中,重新启动Hadoop集群服务

|-------------------------------------------------------|
| http://192.168.0.136:9870/ http://192.168.0.137:9870/ |

如上所示,在浏览器中访问NameNode主节点或者NameNode副节点web页面,显示NameNode节点信息

如上所示,在浏览器中访问NameNode主节点或者NameNode副节点web页面,显示DataNode集群节点信息

相关推荐
Jason不在家1 小时前
Flink 本地 idea 调试开启 WebUI
大数据·flink·intellij-idea
Elastic 中国社区官方博客2 小时前
使用 Vertex AI Gemini 模型和 Elasticsearch Playground 快速创建 RAG 应用程序
大数据·人工智能·elasticsearch·搜索引擎·全文检索
CHICX12293 小时前
【Hadoop】改一下core-site.xml和hdfs-site.xml配置就可以访问Web UI
xml·大数据·hadoop
权^4 小时前
MySQL--聚合查询、联合查询、子查询、合并查询(上万字超详解!!!)
大数据·数据库·学习·mysql
bin91538 小时前
【EXCEL数据处理】000010 案列 EXCEL文本型和常规型转换。使用的软件是微软的Excel操作的。处理数据的目的是让数据更直观的显示出来,方便查看。
大数据·数据库·信息可视化·数据挖掘·数据分析·excel·数据可视化
极客先躯11 小时前
Hadoop krb5.conf 配置详解
大数据·hadoop·分布式·kerberos·krb5.conf·认证系统
2301_7869643613 小时前
3、练习常用的HBase Shell命令+HBase 常用的Java API 及应用实例
java·大数据·数据库·分布式·hbase
matlabgoodboy14 小时前
“图像识别技术:重塑生活与工作的未来”
大数据·人工智能·生活
happycao12315 小时前
Flink 03 | 数据流基本操作
大数据·flink
Neituijunsir15 小时前
2024.09.22 校招 实习 内推 面经
大数据·人工智能·算法·面试·自动驾驶·汽车·求职招聘