Hadoop3:集群压测-读写性能压测

一、准备工作

首先,我们要知道,平常所说的网速和文件大小的MB是什么关系。

100Mbps单位是bit;10M/s单位是byte ; 1byte=8bit,100Mbps/8=12.5M/s。

测试

配置102、103、104虚拟机网速

102上用Python开启一个文件下载服务,类似FTP

bash 复制代码
python -m SimpleHTTPServer

在103上下载102的文件

可以看到,下载速度在11.6MB/s左右。符合预期。

二、HDFS写性能测试

原理说明

两种算法

1、所有MapTask处理的文件大小总量/总时间。

2、每个MapTask的速度统计,求平均值。

正常情况下,这两个值差别不大,但是,出现个别服务器有问题,则会出现较大的偏差。

测试命令

bash 复制代码
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

测试结果

参数介绍:
Number of files:生成mapTask数量,一般是集群中(CPU核数-1),我们测试虚拟机就按照实际的物理内存-1分配即可

Total MBytes processed:单个map处理的文件大小

Throughput mb/sec:单个mapTak的吞吐量

计算方式:处理的总文件大小/每一个mapTask写数据的时间累加

集群整体吞吐量:生成mapTask数量*单个mapTak的吞吐量

Average IO rate mb/sec:平均mapTak的吞吐量

计算方式:每个mapTask处理文件大小/每一个mapTask写数据的时间全部相加,再求均值

IO rate std deviation:方差、反映各个mapTask处理的差值,越小越均衡

可能的报错

解决办法:
yarn-site.xml

xml 复制代码
<!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

保存,分发并重启Hadoop

三、HDFS读性能测试

测试命令

bash 复制代码
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -read-nrFiles 10 -fileSize 128MB

四、删除测试文件

命令

python 复制代码
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -clean

五、放开网络限制

测试写性能

这块还是有点云里雾里。。。。

应该有更专业的测试工具。

相关推荐
IT学长编程1 天前
计算机毕业设计 基于Hadoop的健康饮食推荐系统的设计与实现 Java 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
java·大数据·hadoop·毕业设计·课程设计·推荐算法·毕业论文
Lx3521 天前
Hadoop数据一致性保障:处理分布式系统常见问题
大数据·hadoop
IT学长编程1 天前
计算机毕业设计 基于Hadoop豆瓣电影数据可视化分析设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试
大数据·hadoop·python·django·毕业设计·毕业论文·豆瓣电影数据可视化分析
Dobby_051 天前
【Hadoop】Yarn:Hadoop 生态的资源操作系统
大数据·hadoop·分布式·yarn
笨蛋少年派1 天前
安装Hadoop中遇到的一些问题和解决
大数据·hadoop·分布式
梓仁沐白1 天前
hadoop单机伪分布环境配置
大数据·hadoop·分布式
欧阳方超1 天前
Spark(1):不依赖Hadoop搭建Spark环境
大数据·hadoop·spark
Dobby_052 天前
【Hadoop】分布式文件系统 HDFS
大数据·hadoop·分布式
项目題供诗2 天前
Hadoop(十一)
大数据·hadoop·分布式
学习中的阿陈2 天前
Hadoop伪分布式环境配置
大数据·hadoop·分布式