Hadoop HDFS基准测试

一、测试写入速度

  • 确保HDFS集群和YARN集群成功启动

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

说明:向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存到/benchmarks/TestDFSIO中。 Throughput:吞吐量、Average IO rate:平均IO率、IO rate std deviation:IO率标准偏差

二、测试读取速度

  • 确保HDFS集群和YARN集群成功启动

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

说明:在HDFS文件系统中读入10个文件,每个文件10M

Throughput:吞吐量、Average IO rate:平均IO率、IO rate std deviation:IO率标准偏差

三、清除测试数据

  • 确保HDFS集群成功启动 hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -clean

说明:测试期间,会在HDFS集群上创建 /benchmarks目录,测试完毕后,我们可以清理该目录。

相关推荐
金融小师妹1 小时前
AI多因子模型解析:黄金涨势受阻与美联储9月降息政策预期重构
大数据·人工智能·算法
lisuwen1162 小时前
GPT-5 上线风波深度复盘:从口碑两极到策略调整,OpenAI 的变与不变
大数据·人工智能·gpt·chatgpt
Jay Kay3 小时前
Flink原理与实践 · 第三章总结
大数据·flink
Tezign_space3 小时前
特赞内容运营解决方案,AI重构品牌内容价值链
大数据·人工智能·数据挖掘·产品运营·内容运营·内容+ai·agentai
Direction_Wind4 小时前
粗粮厂的基于spark的通用olap之间的同步工具项目
大数据·分布式·spark
中国国际健康产业博览会4 小时前
2026天然健康原料展:聚焦健康,成就未来商机与合作
大数据·人工智能
计算机毕设-小月哥5 小时前
大数据毕业设计选题推荐:基于Hadoop+Spark的城镇居民食品消费分析系统源码
大数据·hadoop·课程设计
Viking_bird13 小时前
centos 7.5 + Hadoop 3.2.4 集群搭建
linux·运维·服务器·hadoop·centos
The Open Group13 小时前
英特尔公司Darren Pulsipher 博士:以架构之力推动政府数字化转型
大数据·人工智能·架构
喂完待续13 小时前
【Tech Arch】Spark为何成为大数据引擎之王
大数据·hadoop·python·数据分析·spark·apache·mapreduce