2023.11.18 -自用hadoop高可用环境搭建命令

启动hadoop高可用环境

1.先恢复快照到高可用环境

2.三台服务器启动zookeeper服务

root@node1 \~\]#**zkServer.sh start** \[root@node2 \~\]# zkServer.sh start \[root@node3 \~\]# zkServer.sh start 查看服务状态: \[root@node\]# zkServer.sh status 关闭zk服务的命令是: \[root@node\]# zkServer.sh stop # 3.在node1中启动hadoop集群 \[root@node1 \~\]# **start-all.sh** # 4.检查服务 \[root@node1 \~\]# jps \[root@node2 \~\]# jps \[root@node3 \~\]# **jps** # 一键启动hdfs和yarn集群 \[root@node1 \~\]# start-all.sh # 单独启动mr计算任务历史服务 \[root@node1 \~\]# mapred --daemon start historyserver \[root@node1 bin\]# nohup hive --service metastore \& \[1\] 13490 nohup: 忽略输入并把输出追加到"nohup.out" 回车 \[root@node1 bin\]# nohup hive --service hiveserver2 \& \[2\] 13632 nohup: 忽略输入并把输出追加到"nohup.out" 回车 \[root@node1 bin\]# jps ... 13490 RunJar 13632 RunJar \[root@node1 bin\]# # 注意:10000端口号一般需要等待3分钟左右才会查询到 \[root@node1 bin\]# **lsof -i:10000** COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 18804 root 520u IPv6 266172 0t0 TCP \*:ndmp (LISTEN) # 此处代表hive启动成功 如果许久启动服务不成功,可以杀死进程,重新再进行操作试试 杀死进程命令:kill -9 进程端口号

如果没有做以下配置,需要使用ip地址访问:

​ HDFS: http://192.168.88.161:9870/

​ YARN: http://192.168.88.161:8088/

​ jobhistory: http://192.168.88.161:19888/
配置完成后,可以直接通过node1访问

HDFS:http://node1:9870/dfshealth.html#tab-overview

YARN:http://node1:8088/

JOBHISTORY:http://node1:19888/

高可用开启后网页端查看hadoop集群数据

Name node active
http://node1:50070/dfshealth.html#tab-overview

Name node standby
http://node2:50070/dfshealth.html#tab-overview

resourse manager node1
http://node1:8088/cluster

--rm两个服务同时启动,按照上述链接去访问会自动跳到同一个主节点页面

resourse manager node2
http://node2:8088/cluster

Job History
http://node1:19888/jobhistory

相关推荐
二二孚日25 分钟前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为
掘金-我是哪吒38 分钟前
分布式微服务系统架构第158集:JavaPlus技术文档平台日更-JVM基础知识
jvm·分布式·微服务·架构·系统架构
东窗西篱梦1 小时前
Redis集群部署指南:高可用与分布式实践
数据库·redis·分布式
Acrel_Fanny1 小时前
Acrel-1000系列分布式光伏监控系统在湖北荆门一马光彩大市场屋顶光伏发电项目中应用
分布式
xufwind1 小时前
spark standlone 集群离线安装
大数据·分布式·spark
AI数据皮皮侠2 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
半新半旧2 小时前
Redis集群和 zookeeper 实现分布式锁的优势和劣势
redis·分布式·zookeeper
亲爱的非洲野猪3 小时前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe3 小时前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka
虾条_花吹雪3 小时前
2、Connecting to Kafka
分布式·ai·kafka