分布式hadoop集群访问web服务

一、启动和关闭节点

1、在NameNode节点上

(1)启动hdfs

复制代码
start-dfs.sh 

(2)关闭hdfs

复制代码
stop-dfs.sh 
2、在ResourceManager节点上

(1)启动yarn

复制代码
start-yarn.sh

(2)关闭yarn

复制代码
stop-yarn.sh

(3)开启任务历史服务(开启后会存储已提交的任务,有效期为七天)

复制代码
mapred --daemon start historyserver

(4)关闭任务历史服务

复制代码
 mapred --daemon stop historyserver

开启的服务都要在关闭虚拟机前关闭!

二、访问Web服务

1、访问NameNode的Web服务

(1)查看hdfs-site.xml配置文件

复制代码
cd /opt/softs/hadoop3.1.3/etc/hadoop/

 cat hdfs-site.xml

获取到Web网址

http://bigdata03:9870

(2)查看/etc/hosts

复制代码
cat /etc/hosts

(3)将映射配置复制粘贴到C:\Windows\System32\drivers\etc下的hosts

① 查找位置

② 修改文件权限

③ 在文件末尾加入对应映射关系

(4)在Windows的浏览器中访问http://bigdata03:9870

2、访问yarn的Web服务

前面已经配置过了映射关系,可在Windows里直接访问http://bigdata05:8080

3、访问任务历史服务的Web服务

在ResourceManager节点上查看web网址

复制代码
cd /opt/softs/hadoop3.1.3/etc/hadoop
cat yarn-site.xml

在Windows中访问网址:http://bigdata05:19888/jobhistory

相关推荐
得物技术4 天前
从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流
大数据·llm·ai编程
久美子4 天前
AI驱动数仓建设的Harness工程实践——本体建模、知识分层与上下文工程
大数据
大树885 天前
金刚石散热越强,管路越先见顶
大数据·运维·服务器·人工智能·ai
大志哥1235 天前
ES和Logstash日志链路系统上线后遭遇切片爆炸(解决)
大数据·elasticsearch
果丁智能5 天前
物联网智能锁赋能集中式住宿:身份核验与远程权限管控的全链路技术实践
大数据·人工智能·物联网·智能家居
王小王-1235 天前
基于 Hive 的网易云音乐数据分析及可视化系统
hive·hadoop·数据分析·音乐数据分析·网易云音乐分析·hive音乐分析·hadoop网易云
ApacheSeaTunnel5 天前
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
weixin_397574095 天前
PDF复杂表格的1:1还原引擎:跨页表格自动拼接技术实战
大数据·人工智能·pdf
极光代码工作室5 天前
基于数据仓库的电商数据分析平台
大数据·hadoop·python·spark·数据可视化
秋名山码民5 天前
Graph RAG 深度解析:从向量检索到知识推理的技术演进
大数据·人工智能·rag