部署Hadoop高可用集群

注:下述步骤仅供参考,具体指令和操作截图的word版本可见上方本博文免费资源绑定。

1.为虚拟机Hadoop1,2,3拍摄快照以免后续错误操作

2.创建hadoop-HA目录区分之前的集群并将Hadoop安装到该目录下

3.进入/etc目录修改系统环境变量

4.执行source /etc/profile初始化系统环境变量

5.验证系统环境变量是否修改成功

6.修改配置文件

(1)修改hadoop-env.sh配置文件

(2)修改core-site.xml配置文件

(3)修改hdfs-site.xml配置文件

(4)修改mapred-site.xml配置文件

(5)修改yarn-site.xml配置文件

(6)修改workers配置文件

7.分发Hadoop安装目录

8.分发系统环境变量文件

9.初始化系统环境变量

10.启动Hadoop高可用集群

(1)启动JournalNode,启动后执行jps命令查看三台虚拟机的进程

(2)格式化HDFS文件系统,显示成功格式化

(3)同步NameNode

(4)格式化ZKFC,显示成功格式化

(5)启动HDFS,执行jps查看进程

(6)启动YARN,执行jps查看进程

11.查看NameNode状态信息,hadoop1为active,hadoop2为standby

12.查看ResourceManager状态信息,hadoop1为standby,hadoop2为active

13.测试主备切换,关闭状态为active的namenode和resourcemanager

14.再次查看状态信息,Hadoop1的NameNode无法访问,ResouceManager变为active状态;Hadoop2的NameNode变成active状态,ResouceManager无法访问,表明切换成功

相关推荐
陈随易1 小时前
编程语言级别的Skill市场,AI Agent 的未来形态
前端·后端·程序员
SoaringHeart2 小时前
Flutter进阶:基于 EasyRefresh 的下拉刷新封装 n_easy_refresh_mixin.dart
前端·flutter
IT_陈寒3 小时前
Vite的热更新突然不香了,排查三小时差点砸键盘
前端·人工智能·后端
子兮曰4 小时前
Agency-Agents 深度解析:400+ AI 专家的"梦之队"如何重塑开发工作流
前端·后端·vibecoding
竹林8185 小时前
用 The Graph 查询链上数据实战:从手搓 RPC 到 Subgraph,我的 NFT 项目数据加载快了 10 倍
前端·javascript
妙码生花5 小时前
从 PHP 到 AI + Golang,程序员自救转型手记(十九):点选验证码代码逐行目检
前端·后端·go
Awu12276 小时前
⚡从零开发 Agent CLI(五)实现一个可治理、可扩展的工具系统
前端·人工智能·claude
咪库咪库咪6 小时前
Vue3-生命周期
前端
莪_幻尘6 小时前
你的 AI Skill 越多越蠢?Token 上下文爆炸的求生指南
前端·ai编程
lichenyang4537 小时前
从 has.echo 到异步 API 注册表:一次 ASCF API 回调不触发的排查复盘
前端