Spec CPU 2006 的使用说明(曲线救国版)
因本部分实验用到的Spec CPU2006依赖于多个编译工具包,因此对源码的编译要在配置好环境的Linux设备上运行,根据实验发现,现有的环境(包括adb和termux)都不能很好地支持代码编译 ,经过多种尝试,最后通过在termux中安装ubuntu系统实现了环境配置、编译运行等测试。
当然最理想的还是
交叉编译
,后面再补一篇,这篇不是哦。
1.ubuntu环境配置
1.1 Termux简介
Termux 是一款安卓平台下模拟 Linux 环境
的 app。可以直接使用,无需 root
或额外设置。支持 apt
进行软件包管理。
1.2 Termux安装
首先,下载termux(Release v0.118.0 · termux/termux-app (github.com)),安装到手机
bash
adb install .\termux-app_v0.118.0+github-debug_arm64-v8a.apk
1.3 Termux配置
- 换源:
termux-change-repo
,参考tsinghua源; - 更新:
pkg update
、pkg upgrade
; - 配置vim:
pkg install vim
,然后输入export EDITOR=vim把默认编辑器修改为vim; - 配置sudo:
pkg install tsu
- 配置ssh 【非必须,方便电脑端控制】:
ifconfig
查看本机ip,whoami
查看主机名。输入pkg install openssh
安装SSH软件,安装好之后输入passwd
添加密码(需要输入两次),然后安装nmap :pkg install nmap
。最后分别输入sshd
和nmap+ip地址
来开启服务。
在电脑端可以使用finalshell 或者xshell 等其他终端工具,新建ssh连接 。
注意,每次重启Termux客户端的时候,都需要输入sshd命令来开启ssh服务。
1.4 Termux安装Ubuntu
- 安装wget:
apt-get install wget -y
- 安装proot:
apt-get install proot -y
- 安装git:
apt-get install git -y
- 转到HOME:
cd ~
- 下载脚本:
git clone https://github.com/MFDGaming/ubuntu-in-termux.git
- 打开目录:
cd ubuntu-in-termux
- 增加执行权限:
chmod +x ubuntu.sh
- 运行脚本:
./ubuntu.sh -y
- 打开Ubuntu系统:
./startubuntu.sh
2.SpecCPU2006在安卓手机的编译运行
2.1SpecCPU2006简介
SPEC CPU2006是SPEC组织推出的CPU子系统评估软件,重点测试系统的处理器、内存子系统和编译器。
SPEC CPU2006包括了CINT2006和CFP2006两个子项目 ,前者用于测量和对比整数性能
、包含12个不同的基准测试,而后者则用于测量和对比浮点性能
、包含17个不同的基准测试。
SPEC CPU2006测试中,测试系统的处理器、内存子系统和使用到的编译器(SPEC CPU2006提供的是源代码,并且允许测试用户进行一定的编译优化)都会影响最终的测试性能,而I/O(磁盘)、网络、操作系统和图形子系统对于SPEC CPU2006的影响非常的小。
2.2 SpecCPU2006下载
speccpu2006-v1.0.1百度网盘下载地址:
链接: https://pan.baidu.com/s/1R-RCA3ZKSnpbyXgqEl7bSw?pwd=a3h8
提取码: a3h8
2.3 SpecCPU2006测试原理
Spec2006测试模式 分为rate测试
和speed测试
两项,其中rate测试主要衡量系统的多并发运算处理性能即平常我们所说的多线,speed测试主要衡量系统的单任务处理性能即平常我们所说的单线。
CINT2006包括C编译程序、量子计算机仿真、下象棋程序等,CFP2006包括有限元模型结构化网格法、分子动力学质点法、流体动力学稀疏线性代数法等。为了简化测试结果,SPEC决定使用单一的数字来归纳所有12种整数基准程序。
具体方法是将被测计算机的执行时间标准化,即将被测计算机的执行时间除一个参考处理器的执行时间,结果称为SPECratio。SPECratio值越大,表示性能越快(因为SPECratio是执行时间的倒数)。CINT2006或CFP2006的综合测试结果是取SPECratio的几何平均值。
各个测试组件基本上都由C和Fortran语言编写,有7个测试项目使用了C++语言,而Fortran语言均用来编写浮点部分。
2.4 文件结构
2.5 SpecCPU2006安装
首先在termux 主目录下创建一个文件夹share 用来存放Spec文件。
mkdir share
将前面下载下来的压缩包解压 (或者先传到手机再解压)传到termux的share中,这里使用的是adb push在电脑上解压好的文件夹,路径可以通过pwd查看。
解压: tar xvf speccpu2006-v1.0.1-newest.tar -C ~ > /dev/null
push到手机命令: adb push .\speccpu2006\ /data/data/com.termux/files/home/share
根据实验情况发现,这里还必须通过adb给传送过去的文件增加写权限 ,通过adb shell
进入文件系统,找到刚才的文件夹目录chmod -R 777 ./share/
。
打开Ubuntu终端,安装依赖包 :
更新:
apt-get update
apt-get upgrade
主要的编译工具:
apt-get install gcc g++ gfortran libbz2-dev
Ps: 如果提示缺少apt-get,可以使用命令apt-get install apt安装,缺少sudo可以用命令apt install sudo安装,安装vim是apt install vim。如果速度慢也可以换源,参考这篇博客。在使用的时候出现了sudo: unable to resolve host localhost: Name or service not known这个虽然不影响,但解决办法是把下面的配置覆盖到/etc/hosts文件中:
安装完成如下,就可以开始准备编译了 。
在Ubuntu的~目录下增加个软连接 方便直接在~目录操作:
ln -s /data/data/com.termux/files/home/share/speccpu2006/ ~/spec
Ps: 在此处实现文件在Ubuntu系统内运行遇到很多困难,目前总结来看,通过在Ubuntu内软连接直接访问手机文件系统存在权限不足的问题。 通过./startubuntu.sh
运行的时候,vim修改该文件增加command+=" -b /data/local/tmp"
挂载文件系统目录,发现也有问题,这里做个记录。
修改代码中几处文件
① vim spec/tools/src/buildtools
,注释311行,在312行./Configure前加export PERLFLAGS="-A libs=-lm -A libs=-ldl"
②vim spec/tools/src/make-3.80/glob/glob.c
在第209行"#if !defined __alloca && !defined GNU_LIBRARY"和230行"#endif"前添加"//"注释掉;第232、240行注释掉。
到此为止就配置好了 ,接下来运行安装脚本 ./install.sh
,需要输入 yes 。然后就是漫长的等待。
安装完成。
2.6 SpecCPU2006使用
!!! 每次使用前加载环境变量 !!! :. ./shrc
(点后面空格!)
使用runspec -V
可以检查是否安装成功
测试471.omnetpp:
runspec -c arm64.cfg -i ref -n 3 -r -u 8 471
【跑一组omnetpp需要大概1.6h】
不同平台的命令不太一样,这里仅列举ARM
的
runspec -c arm64.cfg -n 1 -r 1 all
(单线程)
runspec -c arm64.cfg -n 1 -r N all
(多线程)
=== 主要参数说明 ===
-n
指定测试轮数 (3轮测试的话测试完成后会自动算出Base Ratio的几何平均数(几何平均数与算数平均值不同,几何平均数是对各变量值的连乘积开项数次方根),3轮以下则不显示该分数,需要手动算分; 手动算几何平均数方法:可在EXCEL表格中执行函数 =GEOMEAN(G8:G24));
-r N
,设置cpu核数,N和CPU核数一致,根据台式机或服务器的核数去指定多线程N的值;
all
代表浮点和整型参数都测试。
2.7 运行结果示例
测试结束后在result目录下 ,查看测试结果,测试结果一般以测试类型和测试次序进行区别 ,并且会按照整点和浮点进行划分。
如果是按照正式reportable的模式进行测试的话,会出一份网页版的正式测试结果 ,非正式结果可以去asc或txt文档查看,格式例如下文:
Base Ratio为测试分值 ,该测试一般运行3遍取中值。整体结果为所有结果的几何平均值。
查看测试结果:
①测试结果会在测试时打印在终端输出当中,可在终端中看到结果分数;或在SPECCPU/result目录中查看测试结果文件。
②执行整数测试时,会在SPECCPU/result目录中生成以下五个文件:
"CINT2006.xxx.flags.html"
"CINT2006.xxx.pdf"
"CINT2006.xxx.rsf"
"CINT2006.xxx.txt"
"CPU2006.xxx.log"
③执行浮点测试时,会在SPECCPU/result目录中生成以下五个文件:
"CFP2006.xxx.flags.html"
"CFP2006.xxx.pdf"
"CFP2006.xxx.rsf"
"CFP2006.xxx.txt"
"CPU2006.xxx.log"
其中:
flags.html文件中间存放了本次测试中每个测试项使用的所有Flags信息;
pdf文件为最常用的结果文件,其中包含了结果的柱状图、Hardware信息、Software信息、结果的数据表、General Notes、Flags等多种信息;
rsf文件为SPEC CPU2006是原始结果文件,可通过该文件重新生成其他结果文件;
txt文件内容和pdf文件类似,区别是txt为纯文本结果文件。
附:SPECCPU2006测试命令
一、一些配置经验
1.先运行shrc来准备测试环境的准备 ,然后执行runspec命令来实际开始基准测试。
- runsepc命令语法为:runspec [options] [list of benchmarks to run]
3.如果生成有效的报告,则需要跑int, fp, 或者 all(就包括int、fp);否则,你也可以随意选择一个自己想跑的benchmark。
- 配置文件中(文件名中),rate和speed的区别:rate是系统的能达到的总体能力的衡量;speed是系统完成一个任务的速度的衡量。 默认值就是使用
rate
这种度量方式。
5.测试时间很长,设备存储空间要充足,不可中断。
二、常用测试命令组合
1.runspec -c test.cfg -i test -I all
基于最小测试数据集快速执行所有的测试,测试过程中如果某个用例发生错误,则跳过错误用例,继续执行其他用例。
2.runspec -c test.cfg -i ref -n 3 -I all
基于最大测试数据集全面执行所有的测试,用于测试单核CPU,测试过程中如果某个用例发生错误,则跳过错误用例,继续执行其他用例。
3.runspec -c test.cfg -i ref -n 3 -r -u 4 -I all
基于最大测试数据集全面执行所有的测试,用于测试4核CPU,测试过程中如果某个用例发生错误,则跳过错误用例,继续执行其他用例。
4.runspec -c test.cfg -i ref -n 3 -r -u 8 -I all
基于最大测试数据集全面执行所有的测试,用于测试8核CPU,测试过程中如果某个用例发生错误,则跳过错误用例,继续执行其他用例。
5.runspec -c test.cfg -i ref -n 3 -r -u 8 -I int
基于最大测试数据集执行12个定点的测试,用于测试8核CPU,测试过程中如果某个用例发生错误,则跳过错误用例,继续执行其他用例。
6.runspec -c test.cfg -i ref -n 3 -r -u 8 -I 164
基于最大测试数据集只执行164单个测试,用于测试8核CPU,测试过程中如果某个用例发生错误,则跳过错误用例,继续执行其他用例。
三、参数说明
runspec: 表示执行SPEC CPU2000基准程序开始进行测试;
-c
:读取测试配置文件;
test.cfg: 配置文件中可以包含上述命令的所有信息,但是runspec命令的优先级高。此文件在spec的解压目录下,位于SPEC CPU2006安装目录的config目录下;
-i
:输入测试数据集的大小,测试规模有test、ref、train,ref代表最大测试数据集,test代表最小测试数据集跑的时间最短,如果测试编译器正确性的时候可以用test规模,但是想测试性能时候用ref;
-n
:运行的次数,如果想得到加权统计的结果,也就是常说的cpu的spec分数,需要设置n大于等于3;
-I
:测试过程中如果某个用例发生错误,则跳过错误用例,继续执行其他用例,如果不加该参数,程序运行过程出现错误时,SPEC CPU2000将停止测试;
-r
:测试rate,rate数据指多核CPU情况下运行多个相同进程的分值,与-u联合使用。选择copy数量,一般来说copy数量等于CPU核的个数,参数为"-C num"(或--copies num)。注意:如果选择speed度量方式,其copy就是1,是不可以更改的。 其实"-r 4"就等于"--rate --copies 4";
-u
:CPU的核数,用于多核CPU测试,与-r联合使用;
测试项目有以下几种选择:
all
:默认,表示SPEC CPU2000将运行基准测试程序中的所有测试项目;
int
:表示SPEC CPU2000将运行基准测试程序中的12个定点测试项目;
fp
: 表示SPEC CPU2000将运行基准测试程序中的14个浮点测试项目;
164
:表示SPEC CPU2000将运行基准测试程序中164.gzip这个程序;
-o formate
等于"--output_format format",指定生成输出报告、文件的格式。-o text,screen,pdf 输出格式,测试完成生成报告的格式,依次分别是txt,屏幕显示和pdf格式,保存目录在spec解压目录result中。
noreportable && reportable
: 表示检测/不检测生成的二进制文件是否修改过。
--reportable 如果原来生成的二进制文件被修改了,则运行时会自动重新编译生成二进制文件,确保运行的程序是原始的程序。
测试模式:
-tune = base
基准测试;
-tune = peak
峰值测试;
-tune默认是base 可以选择base, peak, or all ,Report 首先是base,其次是peak。base和peak的区别在于:base是简单的标准的配置(一般跑个base就可以衡量性能了),peak是可以提供更多个性化的配置编译选项。(--tune 也简写为 -T,如"-T base"、 --tune all (包括base和peak))
--action参数是定义做什么测试动作,一般完整的是"--action=validate",当然你也可以只做编译build、运行run、搭建环境setup等这样的步骤。
--action build 创建测试项目
--action onlyrun 只是运行,不进行确认测试结果是否正确
--action report 标准测试
--action clean 清理已经建立的测试项目