Hadoop•用Web UI查看Hadoop状态&词频统计

听说这里是目录哦

通过Web UI查看Hadoop运行状态🐇

一、关闭防火墙

在集群中每个虚拟机内执行
systemctl stop firewalld 【关闭防火墙】
systemctl disable firewalld 【禁止防火墙开机启动】

二、在物理计算机添加集群的IP映射

hosts文件末尾添加【解决HDFS网页无法查看文件】

这是我的,格式就是IP 虚拟机名

刷新DNS缓存:以管理员身份运行命令提示符,在命令提示符中输入ipconfig /flushdns

三、启动集群

Hadoop•搭建完全分布式集群目录中的启动Hadoop

四、进入HDFS的Web UI

在浏览器输入IP:9870,如192.168.88.151:9870192.168.88.151是我的主机IP,HDFS的Web UI端口一般都是9870

词频统计🦩

1、准备文本数据

在哪个目录下创建,路径就在哪。切到需要的目录下哦~【记住路径!!!】

命令用touch word.txt或者vi word.txt都行(创建一个名为word.txt文件)。

文件内要编写的内容如下图:

2、在HDFS创建目录

用命令hdfs dfs -mkdir -p /wordcount/input在HDFS创建/wordcount/input用于存放文件word.txt

3、上传文件

用命令hdfs dfs -put /export/data/word.txt /wordcount/input把位于/export/data/word.txt上传到HDFS的/wordcount/input

4、查看文件是否上传成功

进入HDFS的Web UI输入路径/wordcount/input,如果看到该目录下有word.txt,那word.txt就上传成功了

5、运行MapReduce程序

在主机node1 进入/export/servers/hadoop-3.1.4/share/hadoop/mapreduce目录下执行ll命令查看Hadoop提供的MapReduce程序hadoop-mapreduce-examples-3.1.4.jar。在该程序所在目录下执行命令hadoop jar hadoop-mapreduce-examples-3.1.4.jar wordcount /wordcount/input wordcount/output运行该程序即可实现词频统计,该命令中hadoop jar指定运行的MapReduce程序,第一个wordcount是程序名称【执行操作要用的】,/wordcount/input是要计算的文件word.txt所在的目录,wordcount/output是统计结果输出的目录【该目录会自动创建,所以不能提前创建】。注意,这里使用的都是HDFS文件系统的目录。

6、查看MapReduce程序运行状态

使用浏览器访问YARN在浏览器输入IP:8088,如192.168.88.151:8088192.168.88.151是我的主机IP,YARN的Web UI端口一般都是8088

7、查看统计结果

进入HDFS的Web UI,结果存放在wordcount/output目录,输入路径,然后Go!就行了。

🐇🐇🐇我是分割线

就是在物理计算机添加集群的IP映射

能量站😚

祝有爱者有爱,无爱者自由。

❤️谢谢你为自己努力❤️

相关推荐
Elastic 中国社区官方博客15 分钟前
Elasticsearch:Jira 连接器教程第二部分 - 6 个优化技巧
大数据·数据库·elasticsearch·搜索引擎·全文检索·kibana·jira
星尘幻宇科技2 小时前
Flink CDC解决数据库同步,异常情况下增量、全量问题
大数据·数据库·flink
极客先躯2 小时前
Flink控制台任务提交的时候, SLF4J 多个绑定问题.
大数据·flink·异常处理·常见问题·slf4j
星尘幻宇科技2 小时前
Flink Standalone 方案中解决挂机问题
大数据·flink
金州饿霸2 小时前
Flink概述
大数据·flink
ayt0072 小时前
【Flink系列】2. Flink快速上手
大数据·flink
抛砖者2 小时前
01、flink的原理和安装部署
大数据·flink
VX_CXsjNo12 小时前
免费送源码:Java+SpringBoot+MySQL SpringBoot网上宠物领养管理系统 计算机毕业设计原创定制
java·hadoop·spring boot·mysql·zookeeper·flask·pytest
数字化转型20252 小时前
SAP POC 项目完工进度 - 收入确认方式【工程制造行业】【新准则下工程项目收入确认】
大数据·microsoft
Leven1995273 小时前
Flink(十):DataStream API (七) 状态
大数据·flink