测试集群hdfs和mapreduce

测试hdfs上传文件

1.创建一个data.txt文件

2.创建一个hdfs的文件夹

3.将本地文件上传到hdfs系统

4.查看文件上传

到这个目录下 /usr/local/hadoop/tmp/dfs/data/current/BP-21346944-172.18.0.2-1773114044674/current/finalized/subdir0/subdir0

会发现master,slave1,slave3存储了相同的内容,但是slave2没有。对应第一个图

测试wordcount

1.在上面的基础上,运行mapreduce wordcount的例子

cd /usr/local/hadoop/share/hadoop/mapreduce/

2.查看运行结果

相关推荐
Cx330❀2 小时前
Linux System V标准简介
大数据·linux·运维·服务器·人工智能
jerryinwuhan2 小时前
Spark RDD 编程入门
大数据·分布式·spark
小陈工2 小时前
ModelEngine智能体开发实战:知识库自动生成与多Agent协作
大数据·网络·数据库·人工智能·python·django·异步
llilian_164 小时前
IRIG-B码产生器立足用户痛点,提供精准授时解决方案
大数据·数据库·功能测试·单片机·嵌入式硬件·测试工具
Elastic 中国社区官方博客11 小时前
快速 vs. 准确:衡量量化向量搜索的召回率
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
qq_3813385011 小时前
【技术日报】2026-03-18 AI 领域重磅速递
大数据·人工智能
电商API&Tina15 小时前
【电商API接口】开发者一站式电商API接入说明
大数据·数据库·人工智能·云计算·json
武子康17 小时前
大数据-253 离线数仓 - Airflow 入门与任务调度实战:DAG、Operator、Executor 部署排错指南
大数据·后端·apache hive
guoji778818 小时前
2026年Gemini 3 Pro vs 豆包2.0深度评测:海外顶流与国产黑马谁更强?
大数据·人工智能·架构