测试集群hdfs和mapreduce

测试hdfs上传文件

1.创建一个data.txt文件

2.创建一个hdfs的文件夹

3.将本地文件上传到hdfs系统

4.查看文件上传

到这个目录下 /usr/local/hadoop/tmp/dfs/data/current/BP-21346944-172.18.0.2-1773114044674/current/finalized/subdir0/subdir0

会发现master,slave1,slave3存储了相同的内容,但是slave2没有。对应第一个图

测试wordcount

1.在上面的基础上,运行mapreduce wordcount的例子

cd /usr/local/hadoop/share/hadoop/mapreduce/

2.查看运行结果

相关推荐
计算机源码社6 分钟前
【大数据项目实战】基于K-Means的科技公司裁员特征分群与规模信号挖掘系统 基于数据挖掘的科技企业裁员事件异常检测与可视化研究
大数据·python·数据挖掘·毕业设计·kmeans·课程设计·数据可视化
IT毕设实战小研7 分钟前
基于大数据的跨国外派人员适应满意度与留存影响因素可视化分析
android·java·大数据·python·django·课程设计
AI 思录12 分钟前
Prompt 事故档案(九):AI安抚话术大全——当“态度好“成为“不改“的遮羞布
大数据·人工智能·安全·prompt·用户运营·用户体验
中视会议14 分钟前
从 AI 深度交流到精准相亲匹配:实时音视频如何重构婚恋服务
大数据·人工智能·大模型应用·视频交友·ai相亲
不会写代码的女程序猿17 分钟前
明理 AI 四诊仪到底有哪些优势?
大数据·人工智能·科技·ai·健康医疗
今天AI了吗26 分钟前
2026年三大AI桌面智能体横评:Codex vs Hermes vs WorkBuddy
大数据·前端·css·人工智能·架构
IT研究室38 分钟前
最新大数据毕业设计选题推荐-基于大数据的房地产交易数据分析与可视化-大数据-Spark-Hadoop-Bigdata
大数据·数据分析·课程设计
万象新讯38 分钟前
申请 AWS Activate 的初创企业要满足什么条件,需准备哪些资料?
大数据·人工智能·aws
维克兜率天1 小时前
【维克】一个极端值,毁掉了整个因子
大数据·人工智能·python·算法·机器学习
小羊没烦恼!1 小时前
Office文件的奥秘——.NET平台下不借助Office实现Word、Powerpoint等文件的解析(完)
java·大数据·前端·网络·word·powerpoint·.net