启动hadoop高可用环境
1.先恢复快照到高可用环境
2.三台服务器启动zookeeper服务
root@node1 \~\]#**zkServer.sh start** \[root@node2 \~\]# zkServer.sh start \[root@node3 \~\]# zkServer.sh start 查看服务状态: \[root@node\]# zkServer.sh status 关闭zk服务的命令是: \[root@node\]# zkServer.sh stop # 3.在node1中启动hadoop集群 \[root@node1 \~\]# **start-all.sh** # 4.检查服务 \[root@node1 \~\]# jps \[root@node2 \~\]# jps \[root@node3 \~\]# **jps** # 一键启动hdfs和yarn集群 \[root@node1 \~\]# start-all.sh # 单独启动mr计算任务历史服务 \[root@node1 \~\]# mapred --daemon start historyserver \[root@node1 bin\]# nohup hive --service metastore \& \[1\] 13490 nohup: 忽略输入并把输出追加到"nohup.out" 回车 \[root@node1 bin\]# nohup hive --service hiveserver2 \& \[2\] 13632 nohup: 忽略输入并把输出追加到"nohup.out" 回车 \[root@node1 bin\]# jps ... 13490 RunJar 13632 RunJar \[root@node1 bin\]# # 注意:10000端口号一般需要等待3分钟左右才会查询到 \[root@node1 bin\]# **lsof -i:10000** COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 18804 root 520u IPv6 266172 0t0 TCP \*:ndmp (LISTEN) # 此处代表hive启动成功 如果许久启动服务不成功,可以杀死进程,重新再进行操作试试 杀死进程命令:kill -9 进程端口号
如果没有做以下配置,需要使用ip地址访问:
HDFS: http://192.168.88.161:9870/
YARN: http://192.168.88.161:8088/
jobhistory: http://192.168.88.161:19888/
配置完成后,可以直接通过node1访问HDFS:http://node1:9870/dfshealth.html#tab-overview
YARN:http://node1:8088/
JOBHISTORY:http://node1:19888/
高可用开启后网页端查看hadoop集群数据
Name node active
http://node1:50070/dfshealth.html#tab-overviewName node standby
http://node2:50070/dfshealth.html#tab-overviewresourse manager node1
http://node1:8088/cluster--rm两个服务同时启动,按照上述链接去访问会自动跳到同一个主节点页面
resourse manager node2
http://node2:8088/clusterJob History
http://node1:19888/jobhistory