测试集群hdfs和mapreduce

测试hdfs上传文件

1.创建一个data.txt文件

2.创建一个hdfs的文件夹

3.将本地文件上传到hdfs系统

4.查看文件上传

到这个目录下 /usr/local/hadoop/tmp/dfs/data/current/BP-21346944-172.18.0.2-1773114044674/current/finalized/subdir0/subdir0

会发现master,slave1,slave3存储了相同的内容,但是slave2没有。对应第一个图

测试wordcount

1.在上面的基础上,运行mapreduce wordcount的例子

cd /usr/local/hadoop/share/hadoop/mapreduce/

2.查看运行结果

相关推荐
逸Y 仙X13 分钟前
文章二十:Elasticsearch高亮搜索完全指南
java·大数据·运维·elasticsearch·搜索引擎·全文检索
2601_9561394214 分钟前
集团品牌全案公司哪家专业
大数据·人工智能·python
财经资讯数据_灵砚智能33 分钟前
基于全球经济类多源新闻的NLP情感分析与数据可视化(日间)2026年5月3日
大数据·人工智能·python·信息可视化·自然语言处理
灵机一物34 分钟前
灵机一物AI原生电商小程序、PC端(已上线)-AI产业深度解析:Token供需失衡下的算力战争与产业变革
大数据·人工智能·深度学习
dovens34 分钟前
PostgreSQL 中进行数据导入和导出
大数据·数据库·postgresql
跨境数据猎手39 分钟前
B 站 item_search_video 接口开发,搭建生产级视频搜索服务
大数据·爬虫·python
科技小花8 小时前
全球化深水区,数据治理成为企业出海 “核心竞争力”
大数据·数据库·人工智能·数据治理·数据中台·全球化
weixin_370976359 小时前
AI的终极赛跑:进入AGI,还是泡沫破灭?
大数据·人工智能·agi
一切皆是因缘际会11 小时前
AI数字分身的底层原理:破解意识、自我与人格复刻的核心难题
大数据·人工智能·ai·架构
上海光华专利事务所11 小时前
跨境电商商标专利管理平台
大数据·产品运营