14. HDFS基准测试

当Hadoop集群搭建完成后,为了弄清楚HDFS的读写性能,我们可以对集群做一次基准测试。Hadoop安装包中自带了对HDFS进行基准测试的工具类。

一. 测试写入速度
  1. 查看命令帮助

    bash 复制代码
    [root@hadoop1 www]# yarn jar hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar  TestDFSIO
    2024-12-28 03:59:58,695 INFO fs.TestDFSIO: TestDFSIO.1.8
    Missing arguments.
    Usage: TestDFSIO [genericOptions] -read [-random | -backward | -skip [-skipSize Size]] | -write | -append | -truncate | -clean [-compression codecClassName] [-nrFiles N] [-size Size[B|KB|MB|GB|TB]] [-resFile resultFileName] [-bufferSize Bytes] [-storagePolicy storagePolicyName] [-erasureCodePolicy erasureCodePolicyName]
    
    关键参数:
    -read: 读文件
    -write: 写文件
    -nrFiles: 文件数量
    -size: 文件大小
  2. 提交测试写入速度的命令

    bash 复制代码
    # 写入10个文件,每个文件的大小为1G
    yarn jar hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -write -nrFiles 10 -size 1GB
  3. 运行结果

    bash 复制代码
    2024-12-28 04:18:57,771 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
    2024-12-28 04:18:57,771 INFO fs.TestDFSIO:             Date & time: Sat Dec 28 04:18:57 UTC 2024
    2024-12-28 04:18:57,771 INFO fs.TestDFSIO:         Number of files: 10
    2024-12-28 04:18:57,771 INFO fs.TestDFSIO:  Total MBytes processed: 10240
    2024-12-28 04:18:57,771 INFO fs.TestDFSIO:       Throughput mb/sec: 22.33
    2024-12-28 04:18:57,771 INFO fs.TestDFSIO:  Average IO rate mb/sec: 22.73
    2024-12-28 04:18:57,771 INFO fs.TestDFSIO:   IO rate std deviation: 3.21
    2024-12-28 04:18:57,772 INFO fs.TestDFSIO:      Test exec time sec: 77.77
    2024-12-28 04:18:57,772 INFO fs.TestDFSIO:
二. 测试读取速度
  1. 提交测试读取速度的命令

    bash 复制代码
    # 读取10个文件,每个文件的大小为1G
    yarn jar hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -read -nrFiles 10 -size 1GB
  2. 运行结果

    bash 复制代码
    2024-12-28 04:21:15,709 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
    2024-12-28 04:21:15,710 INFO fs.TestDFSIO:             Date & time: Sat Dec 28 04:21:15 UTC 2024
    2024-12-28 04:21:15,710 INFO fs.TestDFSIO:         Number of files: 10
    2024-12-28 04:21:15,710 INFO fs.TestDFSIO:  Total MBytes processed: 10240
    2024-12-28 04:21:15,710 INFO fs.TestDFSIO:       Throughput mb/sec: 81.52
    2024-12-28 04:21:15,710 INFO fs.TestDFSIO:  Average IO rate mb/sec: 99.66
    2024-12-28 04:21:15,710 INFO fs.TestDFSIO:   IO rate std deviation: 47.22
    2024-12-28 04:21:15,710 INFO fs.TestDFSIO:      Test exec time sec: 43
    2024-12-28 04:21:15,710 INFO fs.TestDFSIO:
  3. 清理测试生成的文件

    bash 复制代码
    yarn jar hadoop-3.2.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -clean
相关推荐
大大大大晴天10 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云11 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏12 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata13 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒14 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
回眸&啤酒鸭16 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
starzy199016 小时前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
伞伞悦读16 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹21 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)1 天前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据