启动hadoop高可用环境
1.先恢复快照到高可用环境
2.三台服务器启动zookeeper服务
[root@node1 ~]#zkServer.sh start
[root@node2 ~]# zkServer.sh start
[root@node3 ~]# zkServer.sh start
查看服务状态: [root@node]# zkServer.sh status
关闭zk服务的命令是: [root@node]# zkServer.sh stop
3.在node1中启动hadoop集群
[root@node1 ~]# start-all.sh
4.检查服务
[root@node1 ~]# jps
[root@node2 ~]# jps
[root@node3 ~]# jps
一键启动hdfs和yarn集群
[root@node1 ~]# start-all.sh
单独启动mr计算任务历史服务
[root@node1 ~]# mapred --daemon start historyserver
[root@node1 bin]# nohup hive --service metastore &
[1] 13490
nohup: 忽略输入并把输出追加到"nohup.out"
回车
[root@node1 bin]# nohup hive --service hiveserver2 &
[2] 13632
nohup: 忽略输入并把输出追加到"nohup.out"
回车
[root@node1 bin]# jps
...
13490 RunJar
13632 RunJar
[root@node1 bin]#
注意:10000端口号一般需要等待3分钟左右才会查询到
[root@node1 bin]# lsof -i:10000
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 18804 root 520u IPv6 266172 0t0 TCP *:ndmp (LISTEN)
此处代表hive启动成功
如果许久启动服务不成功,可以杀死进程,重新再进行操作试试
杀死进程命令:kill -9 进程端口号
不开启高可用,网页端查看数据
如果没有做以下配置,需要使用ip地址访问:
HDFS: http://192.168.88.161:9870/
YARN: http://192.168.88.161:8088/
jobhistory: http://192.168.88.161:19888/
配置完成后,可以直接通过node1访问HDFS:http://node1:9870/dfshealth.html#tab-overview
YARN:http://node1:8088/
JOBHISTORY:http://node1:19888/
高可用开启后网页端查看hadoop集群数据
Name node active
http://node1:50070/dfshealth.html#tab-overviewName node standby
http://node2:50070/dfshealth.html#tab-overviewresourse manager node1
http://node1:8088/cluster--rm两个服务同时启动,按照上述链接去访问会自动跳到同一个主节点页面
resourse manager node2
http://node2:8088/clusterJob History
http://node1:19888/jobhistory