Hadoop高可用集群搭建

在三台虚拟机上搭建具有两个NameNode节点和两个ResourceManager节点的Hadoop高可用集群。步骤如下:

1.在3台虚拟机中的/export/servers目录中创建目录hadoop-HA,用于存放部署Hadoop高可用集群的Hadoop安装目录,命令如下:

2.安装Hadoop,以解压缩的方式安装Hadoop,将虚拟机liumengting1中/export/software目录中存放的Hadoop安装包安装到/export/servers/hadoop-HA目录。命令如下:

3.修改系统环境变量,将HADOOP_HOME变量的值修改为

Hadoop高可用集群的Hadoop安装目录,命令如下:

4.为了让系统环境变量文件中修改的内容生效,执行如下命令初始化系统环境变量,使修改的系统环境变量生效:

5.验证系统环境变量是否修改成功,执行如下命令,查看当前虚拟机中Hadoop的版本号

6.进入到Hadoop的安装目录下的etc/hadoop目录,修改hadoop-env.sh文件,修改内容如下:

7.修改core-site.xml文件,添加内容如下:

8.执行vi hdfs-site.xml命令,对该文件进行修改,添加内容如下:

9.执行vi mapres-site.xml命令,对该文件进行修改,添加内容如下:

  1. 执行vi yarn-site.xml命令,对该文件进行修改,添加内容如下:

11.执行vi workers命令,将配置文件中workers的内容修改如下内容:

12.分发Hadoop安装目录,将liumengting1的/export/servers/hadoop-HA/hadoop-3.3.4目录分发至虚拟机liumengting2、liumengting3的/export/servers/hadoop-HA目录,命令如下:

13.分发系统环境变量文件,使用scp命令将虚拟机liumengting1的系统环境变量文件profile分发至虚拟机liumengting2、liumengting3的/etc目录,具体命令如下:

14.为了让虚拟机liumengting2、liumengting3中系统环境变量文件中的修改的内容生效,执行如下命令初始化系统环境变量,使修改的系统环境变量生效:

15.开启完全分布模式部署的ZooKeeper

  1. 启动JournalNode,Hadoop高可用集群在进行格式化HDFS文件系统时会向Qurom Journal Manager写入EditLog,因此在格式化HDFS文件系统之前,需要分别在虚拟机Hadoop1、Hadoop2和Hadoop3中执行如下命令启动JournalNode:
  1. 启动JournalNode后,分别在2台虚拟机上执行jps命令,查看JournalNode是否成功开启,若出现JournalNode进程,则说明启动成功,具体效果如下:

18.格式化HDFS文件系统,命令如下:

19.同步NameNode,将虚拟机liumengting1存储FSImage文件的目录分发至虚拟机liumengting2存储FSImage文件的目录,在虚拟机liumengting中执行如下命令:

20.格式化ZKFC,命令如下:

21.启动HDFS,命令如下:

22.在3台虚拟机分别执行jps命令,查看3台虚拟机中运行的进程,如下图所示:

33.启动YARN

  1. 在3台虚拟机分别执行jps命令,查看3台虚拟机中运行的进程,如下图所示:

35.查看NameNode状态信息,访问如下两个地址,虚拟机liumengting1是standby状态,虚拟机liumengting2是active状态,效果如下所示:

36.查看ResourceManager,,访问如下两个地址,效果如下图所示:

37.测试主备切换,在虚拟机liumengting2中关闭状态为active的NameNode和ResourceManager,命令如下所示:

38.再次进行这四个地址的访问,效果如下:

1.在3台虚拟机中的/export/servers目录中创建目录hadoop-HA,用于存放部署Hadoop高可用集群的Hadoop安装目录,命令如下:

2.安装Hadoop,以解压缩的方式安装Hadoop,将虚拟机liumengting1中/export/software目录中存放的Hadoop安装包安装到/export/servers/hadoop-HA目录。命令如下:

3.修改系统环境变量,将HADOOP_HOME变量的值修改为

Hadoop高可用集群的Hadoop安装目录,命令如下:

4.为了让系统环境变量文件中修改的内容生效,执行如下命令初始化系统环境变量,使修改的系统环境变量生效:

5.验证系统环境变量是否修改成功,执行如下命令,查看当前虚拟机中Hadoop的版本号

6.进入到Hadoop的安装目录下的etc/hadoop目录,修改hadoop-env.sh文件,修改内容如下:

7.修改core-site.xml文件,添加内容如下:

8.执行vi hdfs-site.xml命令,对该文件进行修改,添加内容如下:

9.执行vi mapres-site.xml命令,对该文件进行修改,添加内容如下:

  1. 执行vi yarn-site.xml命令,对该文件进行修改,添加内容如下:

11.执行vi workers命令,将配置文件中workers的内容修改如下内容:

12.分发Hadoop安装目录,将liumengting1的/export/servers/hadoop-HA/hadoop-3.3.4目录分发至虚拟机liumengting2、liumengting3的/export/servers/hadoop-HA目录,命令如下:

13.分发系统环境变量文件,使用scp命令将虚拟机liumengting1的系统环境变量文件profile分发至虚拟机liumengting2、liumengting3的/etc目录,具体命令如下:

14.为了让虚拟机liumengting2、liumengting3中系统环境变量文件中的修改的内容生效,执行如下命令初始化系统环境变量,使修改的系统环境变量生效:

15.开启完全分布模式部署的ZooKeeper

  1. 启动JournalNode,Hadoop高可用集群在进行格式化HDFS文件系统时会向Qurom Journal Manager写入EditLog,因此在格式化HDFS文件系统之前,需要分别在虚拟机Hadoop1、Hadoop2和Hadoop3中执行如下命令启动JournalNode:
  1. 启动JournalNode后,分别在2台虚拟机上执行jps命令,查看JournalNode是否成功开启,若出现JournalNode进程,则说明启动成功,具体效果如下:

18.格式化HDFS文件系统,命令如下:

19.同步NameNode,将虚拟机liumengting1存储FSImage文件的目录分发至虚拟机liumengting2存储FSImage文件的目录,在虚拟机liumengting中执行如下命令:

20.格式化ZKFC,命令如下:

21.启动HDFS,命令如下:

22.在3台虚拟机分别执行jps命令,查看3台虚拟机中运行的进程,如下图所示:

33.启动YARN

  1. 在3台虚拟机分别执行jps命令,查看3台虚拟机中运行的进程,如下图所示:

35.查看NameNode状态信息,访问如下两个地址,虚拟机liumengting1是standby状态,虚拟机liumengting2是active状态,效果如下所示:

36.查看ResourceManager,,访问如下两个地址,效果如下图所示:

37.测试主备切换,在虚拟机liumengting2中关闭状态为active的NameNode和ResourceManager,命令如下所示:

38.再次进行这四个地址的访问,效果如下:

相关推荐
吴名氏.1 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
文丑颜不良啊11 小时前
LeetCode2981~3000题目解析
java·leetcode
nice_lcj52012 小时前
【从零理解 Spring AI · 13】RAG 要解决什么:把“闭卷考试“变成“开卷“
java·spring·检索增强·rag·spring ai·ai应用开发
多弗朗皮卡丘13 小时前
网络基础:数据链路层与其他协议或技术
linux·网络·tcp/ip
学长毕设13 小时前
基于SpringBoot军事纪念馆管理系统设计与实现-附源码
java·spring boot·后端
这个昵称不容易14 小时前
SpringBoot 医疗病历交互系统的设计与实现:192 个 Java 文件、256 个接口、22 张表,附真实运行截图
java·springboot·毕设
驭渊的小故事15 小时前
订单服务如何调用商品服务?一次 RestTemplate 跨服务调用入门
java·开发语言·php
文丑颜不良啊17 小时前
LeetCode3001~3020题目解析
java·leetcode
山楂树の18 小时前
Java 字符串高效处理:StringBuilder、StringBuffer、StringJoiner
java·开发语言