测试集群hdfs和mapreduce

测试hdfs上传文件

1.创建一个data.txt文件

2.创建一个hdfs的文件夹

3.将本地文件上传到hdfs系统

4.查看文件上传

到这个目录下 /usr/local/hadoop/tmp/dfs/data/current/BP-21346944-172.18.0.2-1773114044674/current/finalized/subdir0/subdir0

会发现master,slave1,slave3存储了相同的内容,但是slave2没有。对应第一个图

测试wordcount

1.在上面的基础上,运行mapreduce wordcount的例子

cd /usr/local/hadoop/share/hadoop/mapreduce/

2.查看运行结果

相关推荐
wtblszn3 小时前
空压机在线监测物联网方案
大数据·运维·物联网·自动化·能源
IT古董3 小时前
《FDE前沿部署工程师实战教程》29 - Enterprise AI Security:Agent安全体系设计
大数据·数据库·人工智能
喆星时瑜3 小时前
RStudio 数据清洗案例教程
大数据·数据库
卷毛迷你猪4 小时前
快速实验篇(B02)DWD 生产级升级
大数据·hive·hadoop
阿狗童鞋4 小时前
Elasticsearch实战指南
大数据·elasticsearch·搜索引擎
老A的AI实验室4 小时前
赛博月刊 #2026年9月
大数据·人工智能·深度学习·ai·llm
卷毛迷你猪5 小时前
快速实验篇(B03) 用户行为漏斗与转化率
大数据·hive·hadoop
径硕科技JINGdigital5 小时前
出海企业想要借助统一平台接入国际主流基础模型,可选哪些云上生成式 AI 平台?
大数据·人工智能
Elastic 中国社区官方博客5 小时前
使用 Jev 作为 search reranker:基准测试与实现方法
大数据·运维·elasticsearch·全文检索
卷毛迷你猪6 小时前
快速实验篇(B01)用户行为日志画像与 DWD 标准化
大数据·hive·hadoop