部署Hadoop高可用集群

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1.为虚拟机Hadoop1,2,3拍摄快照以免后续错误操作

2.创建hadoop-HA目录区分之前的集群并将Hadoop安装到该目录下

3.进入/etc目录修改系统环境变量

4.执行source /etc/profile初始化系统环境变量

5.验证系统环境变量是否修改成功

6.修改配置文件

(1)修改hadoop-env.sh配置文件

(2)修改core-site.xml配置文件

(3)修改hdfs-site.xml配置文件

(4)修改mapred-site.xml配置文件

(5)修改yarn-site.xml配置文件

(6)修改workers配置文件

7.分发Hadoop安装目录

8.分发系统环境变量文件

9.初始化系统环境变量

10.启动Hadoop高可用集群

(1)启动JournalNode,启动后执行jps命令查看三台虚拟机的进程

(2)格式化HDFS文件系统,显示成功格式化

(3)同步NameNode

(4)格式化ZKFC,显示成功格式化

(5)启动HDFS,执行jps查看进程

(6)启动YARN,执行jps查看进程

11.查看NameNode状态信息,hadoop1为active,hadoop2为standby

12.查看ResourceManager状态信息,hadoop1为standby,hadoop2为active

13.测试主备切换,关闭状态为active的namenode和resourcemanager

14.再次查看状态信息,Hadoop1的NameNode无法访问,ResouceManager变为active状态;Hadoop2的NameNode变成active状态,ResouceManager无法访问,表明切换成功

相关推荐
weixin_40809967几秒前
【实战教程】EasyClick 调用 OCR 文字识别 API(自动识别屏幕文字 + 完整示例代码)
前端·人工智能·后端·ocr·api·安卓·easyclick
Bigger4 分钟前
第四章:我是如何扒开 Claude Code 记忆与上下文压缩机制的
前端·claude·源码阅读
还在忙碌的吴小二7 分钟前
在 Mac 上安装并通过端口调用 Chrome DevTools MCP Server(谷歌官方 MCP 服务器)
服务器·前端·chrome·macos·chrome devtools
灵感__idea8 小时前
Hello 算法:贪心的世界
前端·javascript·算法
GreenTea9 小时前
一文搞懂Harness Engineering与Meta-Harness
前端·人工智能·后端
killerbasd11 小时前
牧苏苏传 我不装了 4/7
前端·javascript·vue.js
吴声子夜歌11 小时前
ES6——二进制数组详解
前端·ecmascript·es6
码事漫谈11 小时前
手把手带你部署本地模型,让你Token自由(小白专属)
前端·后端
ZC跨境爬虫11 小时前
【爬虫实战对比】Requests vs Scrapy 笔趣阁小说爬虫,从单线程到高效并发的全方位升级
前端·爬虫·scrapy·html
爱上好庆祝11 小时前
svg图片
前端·css·学习·html·css3