分布式hadoop集群访问web服务

一、启动和关闭节点

1、在NameNode节点上

(1)启动hdfs

复制代码
start-dfs.sh 

(2)关闭hdfs

复制代码
stop-dfs.sh 
2、在ResourceManager节点上

(1)启动yarn

复制代码
start-yarn.sh

(2)关闭yarn

复制代码
stop-yarn.sh

(3)开启任务历史服务(开启后会存储已提交的任务,有效期为七天)

复制代码
mapred --daemon start historyserver

(4)关闭任务历史服务

复制代码
 mapred --daemon stop historyserver

开启的服务都要在关闭虚拟机前关闭!

二、访问Web服务

1、访问NameNode的Web服务

(1)查看hdfs-site.xml配置文件

复制代码
cd /opt/softs/hadoop3.1.3/etc/hadoop/

 cat hdfs-site.xml

获取到Web网址

http://bigdata03:9870

(2)查看/etc/hosts

复制代码
cat /etc/hosts

(3)将映射配置复制粘贴到C:\Windows\System32\drivers\etc下的hosts

① 查找位置

② 修改文件权限

③ 在文件末尾加入对应映射关系

(4)在Windows的浏览器中访问http://bigdata03:9870

2、访问yarn的Web服务

前面已经配置过了映射关系,可在Windows里直接访问http://bigdata05:8080

3、访问任务历史服务的Web服务

在ResourceManager节点上查看web网址

复制代码
cd /opt/softs/hadoop3.1.3/etc/hadoop
cat yarn-site.xml

在Windows中访问网址:http://bigdata05:19888/jobhistory

相关推荐
菠萝崽.43 分钟前
Elasticsearch进阶篇-DSL
大数据·分布式·elasticsearch·搜索引擎·全文检索·jenkins·springboot
.又是新的一天.1 小时前
02_Servlet
hive·hadoop·servlet
wuli玉shell2 小时前
Bitmap原理及Hive去重方式对比
数据仓库·hive·hadoop
hong_zc2 小时前
服务端高并发分布式结构演进之路
分布式
L耀早睡3 小时前
Spark缓存
大数据·数据库·spark
461K.3 小时前
写spark程序数据计算( 数据库的计算,求和,汇总之类的)连接mysql数据库,写入计算结果
大数据·分布式·spark
caihuayuan43 小时前
鸿蒙AI开发:10-多模态大模型与原子化服务的集成
java·大数据·sql·spring·课程设计
Musennn3 小时前
MySQL多条件查询深度解析
大数据·数据库·mysql
递归尽头是星辰4 小时前
大数据场景下数据导出的架构演进与EasyExcel实战方案
大数据·系统架构·easyexcel·大数据导出·导出优化
Hello World......6 小时前
Java求职面试揭秘:从Spring到微服务的技术挑战
大数据·hadoop·spring boot·微服务·spark·java面试·互联网大厂