2023.11.18 -自用hadoop高可用环境搭建命令

启动hadoop高可用环境

1.先恢复快照到高可用环境

2.三台服务器启动zookeeper服务

root@node1 \~\]#**zkServer.sh start** \[root@node2 \~\]# zkServer.sh start \[root@node3 \~\]# zkServer.sh start 查看服务状态: \[root@node\]# zkServer.sh status 关闭zk服务的命令是: \[root@node\]# zkServer.sh stop # 3.在node1中启动hadoop集群 \[root@node1 \~\]# **start-all.sh** # 4.检查服务 \[root@node1 \~\]# jps \[root@node2 \~\]# jps \[root@node3 \~\]# **jps** # 一键启动hdfs和yarn集群 \[root@node1 \~\]# start-all.sh # 单独启动mr计算任务历史服务 \[root@node1 \~\]# mapred --daemon start historyserver \[root@node1 bin\]# nohup hive --service metastore \& \[1\] 13490 nohup: 忽略输入并把输出追加到"nohup.out" 回车 \[root@node1 bin\]# nohup hive --service hiveserver2 \& \[2\] 13632 nohup: 忽略输入并把输出追加到"nohup.out" 回车 \[root@node1 bin\]# jps ... 13490 RunJar 13632 RunJar \[root@node1 bin\]# # 注意:10000端口号一般需要等待3分钟左右才会查询到 \[root@node1 bin\]# **lsof -i:10000** COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 18804 root 520u IPv6 266172 0t0 TCP \*:ndmp (LISTEN) # 此处代表hive启动成功 如果许久启动服务不成功,可以杀死进程,重新再进行操作试试 杀死进程命令:kill -9 进程端口号

如果没有做以下配置,需要使用ip地址访问:

​ HDFS: http://192.168.88.161:9870/

​ YARN: http://192.168.88.161:8088/

​ jobhistory: http://192.168.88.161:19888/
配置完成后,可以直接通过node1访问

HDFS:http://node1:9870/dfshealth.html#tab-overview

YARN:http://node1:8088/

JOBHISTORY:http://node1:19888/

高可用开启后网页端查看hadoop集群数据

Name node active
http://node1:50070/dfshealth.html#tab-overview

Name node standby
http://node2:50070/dfshealth.html#tab-overview

resourse manager node1
http://node1:8088/cluster

--rm两个服务同时启动,按照上述链接去访问会自动跳到同一个主节点页面

resourse manager node2
http://node2:8088/cluster

Job History
http://node1:19888/jobhistory

相关推荐
长路 ㅤ   7 分钟前
Java后端技术博客汇总文档
分布式·算法·技术分享·编程学习·java后端
暗影八度2 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
白鲸开源2 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据
海豚调度2 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
白鲸开源2 小时前
DolphinScheduler+Sqoop 入门避坑:一文搞定数据同步常见异常
大数据
CodeWithMe3 小时前
【Note】《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘
分布式·kafka
CodeWithMe3 小时前
【Note】《Kafka: The Definitive Guide》第一章:Meet Kafka
分布式·kafka
CodeWithMe3 小时前
【Note】《Kafka: The Definitive Guide》 第二章 Installing Kafka:Kafka 安装与运行
分布式·kafka
学术小八3 小时前
第二届云计算与大数据国际学术会议(ICCBD 2025)
大数据·云计算
求职小程序华东同舟求职4 小时前
龙旗科技社招校招入职测评25年北森笔试测评题库答题攻略
大数据·人工智能·科技