部署Hadoop高可用集群

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1.为虚拟机Hadoop1,2,3拍摄快照以免后续错误操作

2.创建hadoop-HA目录区分之前的集群并将Hadoop安装到该目录下

3.进入/etc目录修改系统环境变量

4.执行source /etc/profile初始化系统环境变量

5.验证系统环境变量是否修改成功

6.修改配置文件

(1)修改hadoop-env.sh配置文件

(2)修改core-site.xml配置文件

(3)修改hdfs-site.xml配置文件

(4)修改mapred-site.xml配置文件

(5)修改yarn-site.xml配置文件

(6)修改workers配置文件

7.分发Hadoop安装目录

8.分发系统环境变量文件

9.初始化系统环境变量

10.启动Hadoop高可用集群

(1)启动JournalNode,启动后执行jps命令查看三台虚拟机的进程

(2)格式化HDFS文件系统,显示成功格式化

(3)同步NameNode

(4)格式化ZKFC,显示成功格式化

(5)启动HDFS,执行jps查看进程

(6)启动YARN,执行jps查看进程

11.查看NameNode状态信息,hadoop1为active,hadoop2为standby

12.查看ResourceManager状态信息,hadoop1为standby,hadoop2为active

13.测试主备切换,关闭状态为active的namenode和resourcemanager

14.再次查看状态信息,Hadoop1的NameNode无法访问,ResouceManager变为active状态;Hadoop2的NameNode变成active状态,ResouceManager无法访问,表明切换成功

相关推荐
cyadyx1 小时前
Vite 比 Webpack 构建效率更高
前端·webpack·node.js·vite
mCell3 小时前
AI 时代 SVG 画图的潜力
前端·agent·svg
我命由我123458 小时前
CesiumJS 笔记 - 获取容器中心点、Cartesian3 clone 方法、修改 Cartesian3 对象的高度
前端·javascript·css·前端框架·html·html5·js
Hopebearer_9 小时前
页面突然只剩 DOM?一次静态资源版本错配排查
前端·部署
东风破_10 小时前
ESLint 是什么?为什么你的项目需要它?
前端·后端·代码规范
圣殿骑士-Khtangc11 小时前
Go字符串高效拼接性能对比与底层原理分析
服务器·前端·golang
BigTopOne12 小时前
【ijkplayer】 硬解码流程
前端
kyriewen12 小时前
DeepSeek Harness开源第一天我就上手了——和Claude Code的差距比想象中大
前端·ai编程·deepseek
捡田螺的小男孩13 小时前
什么是 Skill?手把手带你写一个简单有用的 Skill!
前端·后端·程序员
IT_陈寒13 小时前
Redis集群这个坑,差点让我通宵
前端·人工智能·后端