Hadoop HDFS基准测试

一、测试写入速度

  • 确保HDFS集群和YARN集群成功启动

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

说明:向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存到/benchmarks/TestDFSIO中。 Throughput:吞吐量、Average IO rate:平均IO率、IO rate std deviation:IO率标准偏差

二、测试读取速度

  • 确保HDFS集群和YARN集群成功启动

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

说明:在HDFS文件系统中读入10个文件,每个文件10M

Throughput:吞吐量、Average IO rate:平均IO率、IO rate std deviation:IO率标准偏差

三、清除测试数据

  • 确保HDFS集群成功启动 hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -clean

说明:测试期间,会在HDFS集群上创建 /benchmarks目录,测试完毕后,我们可以清理该目录。

相关推荐
Jing_saveSlave1 小时前
Kafka Stream从入门到精通:构建高吞吐、低延迟的实时流处理应用
大数据·分布式·kafka·linq
尘世壹俗人1 小时前
presto任务优化参数
大数据
lilye661 小时前
程序化广告行业(44/89):岗位职责与RTB竞价逻辑深度解析
大数据·elasticsearch·flask·memcache
镜舟科技2 小时前
镜舟科技荣膺“北京市用户满意企业”认证,以用户为中心驱动高质量发展
大数据·科技·lakehouse·创新·镜舟科技
b***25112 小时前
磷酸铁锂电池自动分选机:新能源产业的智能新宠
大数据·人工智能
宝哥大数据2 小时前
flink 基站与服务器长连接,每次连接和断开都会上报数据,统计过去一小时每个基站断开次数和时长
大数据·服务器·flink
Arbori_262154 小时前
Spark 程序的本地模式和集群模式
大数据·分布式·spark
金融小师妹10 小时前
DeepSeek分析:汽车关税政策对黄金市场的影响评估
大数据·人工智能·汽车
徐礼昭|商派软件市场负责人11 小时前
2025年消费观念转变与行为趋势全景洞察:”抽象、符号、游戏、共益、AI”重构新世代消费价值的新范式|徐礼昭
大数据·人工智能·游戏·重构·零售·中产阶级·消费洞察
DB_UP12 小时前
数据化管理(一)---什么是数据化管理
大数据·数据挖掘·数据分析·零售