Hadoop HDFS基准测试

一、测试写入速度

  • 确保HDFS集群和YARN集群成功启动

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB

说明:向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存到/benchmarks/TestDFSIO中。 Throughput:吞吐量、Average IO rate:平均IO率、IO rate std deviation:IO率标准偏差

二、测试读取速度

  • 确保HDFS集群和YARN集群成功启动

hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

说明:在HDFS文件系统中读入10个文件,每个文件10M

Throughput:吞吐量、Average IO rate:平均IO率、IO rate std deviation:IO率标准偏差

三、清除测试数据

  • 确保HDFS集群成功启动 hadoop jar /export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.4-tests.jar TestDFSIO -clean

说明:测试期间,会在HDFS集群上创建 /benchmarks目录,测试完毕后,我们可以清理该目录。

相关推荐
王苏安说钢材A4 分钟前
无锡佳钛合不锈钢有限公司三通的焊接工艺
大数据
跨境卫士-小汪1 小时前
旺季前成本项变多跨境卖家如何设定更稳的备货优先级
大数据·人工智能·产品运营·跨境电商·亚马逊
地球资源数据云2 小时前
1951-2025年中国逐年1千米逐月总降水量区域统计数据集_年表_县
大数据·数据结构·数据库·数据仓库·人工智能
云飞云共享云桌面2 小时前
精密机械制造工厂研发部门使用SolidWorks和ug,三维设计云桌面如何选择?
大数据·运维·服务器·网络·数据库·人工智能·制造
互联网推荐官2 小时前
定制开发落地实践:D-coding 销售采购系统赋能上海多终端软件项目建设
大数据
千里念行客2402 小时前
锚定AI赛道释放红利:安凯微2026年Q1业绩显成色
大数据·人工智能·科技·安全
跨境卫士—小依2 小时前
小包裹税负变化传导到前端跨境卖家如何设计新的价格带
大数据·人工智能·跨境电商·跨境·营销策略
BizObserver2 小时前
从 SEO 到 GEO:2026 年品牌信息分发逻辑的颠覆性变革
大数据·运维·网络·人工智能·安全
财迅通Ai3 小时前
南矿集团:2026Q1营收增速超21% 海外业务翻倍增长
大数据·人工智能·南矿集团
考勤技术解析3 小时前
外包技术人员打卡管理的技术痛点与轻量化解决方案
大数据·人工智能·ai