Hadoop3：MR程序压测实验

生产队队长2024-07-18 9:30

一、环境要求

内存：128G

CPU：32C

磁盘：8T
注：一个虚拟机不超过150G磁盘尽量不要执行这段代码

二、案例

1、需求

使用Sort程序评测MapReduce

2、操作步骤

1、使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数

bash 复制代码

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar randomwriter random-data

2、执行Sort程序

bash 复制代码

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar sort random-data sorted-data

3、验证数据是否真正排好序

bash 复制代码

hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data

3、结论

如果，在上述服务器的配置下，这个实验应该是在1分钟左右执行完毕。