2023.11.18 -自用hadoop高可用环境搭建命令

启动hadoop高可用环境

1.先恢复快照到高可用环境

2.三台服务器启动zookeeper服务

root@node1 \~\]#**zkServer.sh start** \[root@node2 \~\]# zkServer.sh start \[root@node3 \~\]# zkServer.sh start 查看服务状态: \[root@node\]# zkServer.sh status 关闭zk服务的命令是: \[root@node\]# zkServer.sh stop # 3.在node1中启动hadoop集群 \[root@node1 \~\]# **start-all.sh** # 4.检查服务 \[root@node1 \~\]# jps \[root@node2 \~\]# jps \[root@node3 \~\]# **jps** # 一键启动hdfs和yarn集群 \[root@node1 \~\]# start-all.sh # 单独启动mr计算任务历史服务 \[root@node1 \~\]# mapred --daemon start historyserver \[root@node1 bin\]# nohup hive --service metastore \& \[1\] 13490 nohup: 忽略输入并把输出追加到"nohup.out" 回车 \[root@node1 bin\]# nohup hive --service hiveserver2 \& \[2\] 13632 nohup: 忽略输入并把输出追加到"nohup.out" 回车 \[root@node1 bin\]# jps ... 13490 RunJar 13632 RunJar \[root@node1 bin\]# # 注意:10000端口号一般需要等待3分钟左右才会查询到 \[root@node1 bin\]# **lsof -i:10000** COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 18804 root 520u IPv6 266172 0t0 TCP \*:ndmp (LISTEN) # 此处代表hive启动成功 如果许久启动服务不成功,可以杀死进程,重新再进行操作试试 杀死进程命令:kill -9 进程端口号

如果没有做以下配置,需要使用ip地址访问:

​ HDFS: http://192.168.88.161:9870/

​ YARN: http://192.168.88.161:8088/

​ jobhistory: http://192.168.88.161:19888/
配置完成后,可以直接通过node1访问

HDFS:http://node1:9870/dfshealth.html#tab-overview

YARN:http://node1:8088/

JOBHISTORY:http://node1:19888/

高可用开启后网页端查看hadoop集群数据

Name node active
http://node1:50070/dfshealth.html#tab-overview

Name node standby
http://node2:50070/dfshealth.html#tab-overview

resourse manager node1
http://node1:8088/cluster

--rm两个服务同时启动,按照上述链接去访问会自动跳到同一个主节点页面

resourse manager node2
http://node2:8088/cluster

Job History
http://node1:19888/jobhistory

相关推荐
最好束手就擒1 分钟前
Elasticsearch批量写入50万数据
大数据·elasticsearch·jenkins
没有bug.的程序员5 分钟前
金融支付分布式架构实战:从理论到生产级实现
java·分布式·微服务·金融·架构·分布式调度系统
在未来等你7 分钟前
Elasticsearch面试精讲 Day 25:Elasticsearch SQL与数据分析
大数据·分布式·elasticsearch·搜索引擎·面试
拓端研究室27 分钟前
专题:2025年医疗健康行业状况报告:投融资、脑机接口、AI担忧|附130+份报告PDF合集、图表下载
大数据·人工智能
ZHOU_WUYI44 分钟前
Apache Spark 集群部署与使用指南
大数据·spark·apache
爱看科技1 小时前
科技新突破!微美全息(NASDAQ:WIMI)研发保留运动想象脑机接口“方差密钥”技术
大数据·人工智能·科技
中科岩创1 小时前
青海某公路水渠自动化监测服务项目
大数据·人工智能·物联网
武子康1 小时前
大数据-131 Flink CEP 实战 24 小时≥5 次交易 & 10 分钟未支付检测 案例附代码
大数据·后端·flink
Likeadust2 小时前
新版视频直播点播平台EasyDSS用视频破局,获客转化双提升
大数据·音视频
有一个好名字2 小时前
万字 Apache ShardingSphere 完全指南:从分库分表到分布式数据库生态
数据库·分布式·apache