Hadoop HDFS基准测试

一、测试写入速度

  • 确保HDFS集群和YARN集群成功启动

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

说明:向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存到/benchmarks/TestDFSIO中。 Throughput:吞吐量、Average IO rate:平均IO率、IO rate std deviation:IO率标准偏差

二、测试读取速度

  • 确保HDFS集群和YARN集群成功启动

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

说明:在HDFS文件系统中读入10个文件,每个文件10M

Throughput:吞吐量、Average IO rate:平均IO率、IO rate std deviation:IO率标准偏差

三、清除测试数据

  • 确保HDFS集群成功启动 hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -clean

说明:测试期间,会在HDFS集群上创建 /benchmarks目录,测试完毕后,我们可以清理该目录。

相关推荐
孤影过客4 分钟前
驯服数据巨兽:Hadoop如何重塑大数据的黄金时代
大数据·hadoop·分布式
第二只羽毛12 分钟前
C++ 高并发内存池1
大数据·开发语言·c++·开源
开利网络2 小时前
敏捷开发,快速验证:45天让智能体跑起来的落地方法论
大数据·敏捷流程
Crazy CodeCrafter2 小时前
房租年年涨,客流年年少,服装店还要开吗?
大数据·运维·微信·自动化·开源软件
一只努力的微服务2 小时前
【Calcite 系列】深入理解 Calcite 的 AggregateValuesRule
大数据·数据库·calcite·优化规则
2601_955363152 小时前
技术赋能B端拓客:号码核验行业的痛点破解与高质量发展之路,氪迹科技法人股东核验系统,阶梯式价格
大数据·人工智能
2601_948596052 小时前
勇毅领航,共创未来!汉高亮相第27届中国胶粘剂和胶粘带行业年会
大数据·人工智能
极光代码工作室3 小时前
基于Hadoop的日志数据分析系统设计
大数据·hadoop·python·数据分析·数据可视化
武子康3 小时前
大数据-255 离线数仓 - Apache Atlas 数据血缘与元数据管理实战指南
大数据·后端·apache hive
递归尽头是星辰3 小时前
Flink 四大基石:核心原理与实战速查
大数据·人工智能·flink·实时计算