部署Hadoop高可用集群

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1.为虚拟机Hadoop1,2,3拍摄快照以免后续错误操作

2.创建hadoop-HA目录区分之前的集群并将Hadoop安装到该目录下

3.进入/etc目录修改系统环境变量

4.执行source /etc/profile初始化系统环境变量

5.验证系统环境变量是否修改成功

6.修改配置文件

(1)修改hadoop-env.sh配置文件

(2)修改core-site.xml配置文件

(3)修改hdfs-site.xml配置文件

(4)修改mapred-site.xml配置文件

(5)修改yarn-site.xml配置文件

(6)修改workers配置文件

7.分发Hadoop安装目录

8.分发系统环境变量文件

9.初始化系统环境变量

10.启动Hadoop高可用集群

(1)启动JournalNode,启动后执行jps命令查看三台虚拟机的进程

(2)格式化HDFS文件系统,显示成功格式化

(3)同步NameNode

(4)格式化ZKFC,显示成功格式化

(5)启动HDFS,执行jps查看进程

(6)启动YARN,执行jps查看进程

11.查看NameNode状态信息,hadoop1为active,hadoop2为standby

12.查看ResourceManager状态信息,hadoop1为standby,hadoop2为active

13.测试主备切换,关闭状态为active的namenode和resourcemanager

14.再次查看状态信息,Hadoop1的NameNode无法访问,ResouceManager变为active状态;Hadoop2的NameNode变成active状态,ResouceManager无法访问,表明切换成功

相关推荐
木觞清2 分钟前
喜马拉雅音频链接逆向实战
开发语言·前端·javascript
全马必破三4 分钟前
fs 文件系统:Node.js 操作磁盘的 “万能工具”
node.js
一枚前端小能手6 分钟前
「周更第6期」实用JS库推荐:InversifyJS
前端·javascript
Hilaku8 分钟前
"事件委托"这个老古董,在现代React/Vue里还有用武之地吗?
前端·javascript·vue.js
tryCbest10 分钟前
Node.js使用Express框架解决中文乱码问题
node.js·express
前端缘梦12 分钟前
Webpack 5 核心升级指南:从配置优化到性能提升的完整实践
前端·面试·webpack
汤姆Tom19 分钟前
现代 CSS 架构与组件化:构建可扩展的样式系统
前端·css
偷光20 分钟前
浏览器中的隐藏IDE: Console (控制台) 面板
开发语言·前端·ide·php
时间的情敌27 分钟前
对Webpack的深度解析
前端·webpack·node.js
拜无忧34 分钟前
【案例】可视化模板,驾驶舱模板,3x3,兼容移动
前端·echarts·数据可视化