Hadoop•用Web UI查看Hadoop状态&词频统计

听说这里是目录哦

通过Web UI查看Hadoop运行状态🐇

一、关闭防火墙

在集群中每个虚拟机内执行
systemctl stop firewalld 【关闭防火墙】
systemctl disable firewalld 【禁止防火墙开机启动】

二、在物理计算机添加集群的IP映射

hosts文件末尾添加【解决HDFS网页无法查看文件】

这是我的,格式就是IP 虚拟机名

刷新DNS缓存:以管理员身份运行命令提示符,在命令提示符中输入ipconfig /flushdns

三、启动集群

Hadoop•搭建完全分布式集群目录中的启动Hadoop

四、进入HDFS的Web UI

在浏览器输入IP:9870,如192.168.88.151:9870192.168.88.151是我的主机IP,HDFS的Web UI端口一般都是9870

词频统计🦩

1、准备文本数据

在哪个目录下创建,路径就在哪。切到需要的目录下哦~【记住路径!!!】

命令用touch word.txt或者vi word.txt都行(创建一个名为word.txt文件)。

文件内要编写的内容如下图:

2、在HDFS创建目录

用命令hdfs dfs -mkdir -p /wordcount/input在HDFS创建/wordcount/input用于存放文件word.txt

3、上传文件

用命令hdfs dfs -put /export/data/word.txt /wordcount/input把位于/export/data/word.txt上传到HDFS的/wordcount/input

4、查看文件是否上传成功

进入HDFS的Web UI输入路径/wordcount/input,如果看到该目录下有word.txt,那word.txt就上传成功了

5、运行MapReduce程序

在主机node1 进入/export/servers/hadoop-3.1.4/share/hadoop/mapreduce目录下执行ll命令查看Hadoop提供的MapReduce程序hadoop-mapreduce-examples-3.1.4.jar。在该程序所在目录下执行命令hadoop jar hadoop-mapreduce-examples-3.1.4.jar wordcount /wordcount/input wordcount/output运行该程序即可实现词频统计,该命令中hadoop jar指定运行的MapReduce程序,第一个wordcount是程序名称【执行操作要用的】,/wordcount/input是要计算的文件word.txt所在的目录,wordcount/output是统计结果输出的目录【该目录会自动创建,所以不能提前创建】。注意,这里使用的都是HDFS文件系统的目录。

6、查看MapReduce程序运行状态

使用浏览器访问YARN在浏览器输入IP:8088,如192.168.88.151:8088192.168.88.151是我的主机IP,YARN的Web UI端口一般都是8088

7、查看统计结果

进入HDFS的Web UI,结果存放在wordcount/output目录,输入路径,然后Go!就行了。

🐇🐇🐇我是分割线

就是在物理计算机添加集群的IP映射

能量站😚

祝有爱者有爱,无爱者自由。

❤️谢谢你为自己努力❤️

相关推荐
Lx3524 分钟前
Flink Table API与SQL的最佳实践
大数据
uuukashiro1 小时前
大数据计算引擎选型指南:腾讯云数据湖计算DLC领跑2025市场
大数据·ai·云计算·腾讯云
康语智能1 小时前
小康AI家庭医生:以科技之翼,守陪伴之初心
大数据·人机交互·智能手表
国际云,接待1 小时前
出海东南亚无忧:腾讯云如何凭借本地合作与全球节点,保障游戏和电商业务合规流畅?
大数据·服务器·网络·云计算·腾讯云
RFID舜识物联网1 小时前
NFC与RFID防伪标签:构筑产品信任的科技防线
大数据·人工智能·科技·嵌入式硬件·物联网·安全
五度易链-区域产业数字化管理平台2 小时前
五度易链产业大脑技术拆解:AI + 大数据 + 云计算如何构建产业链数字基础设施?
大数据·人工智能·云计算
数据牧羊人的成长笔记2 小时前
Hadoop 分布式计算MapReduce和资源管理Yarn
hadoop·eclipse·mapreduce
帅次2 小时前
系统分析师-案例分析-数据库系统&数据仓库&反规范化技术&NoSQL&内存数据库
大数据·数据库·数据仓库·oracle·kafka·数据库开发·数据库架构
汽车仪器仪表相关领域2 小时前
汽车排放检测的 “模块化核心”:HORIBA OBS-ONE GS Unit 气体分析单元技术解析
大数据·人工智能·功能测试·车载系统·汽车·安全性测试·汽车检测
涤生大数据2 小时前
日均亿级数据的实时分析:Doris如何接过Spark的接力棒?
大数据·spark·doris·实时计算·大数据开发·实时分析·实时技术