【写在前面】 飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力,聚合行业内优秀资源而打造的。该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域,包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块,旨在共享尖端技术,为开发者提供一个涵盖多领域的开发平台和工具套件。 点击这里开始你的技术升级之旅吧
本文分享至飞腾开发者平台《飞腾X100 NPU Benchmark使用手册》
1 benchmark测试样例概况
1.1 介绍
benchmark测试样例旨在向用户提供,经过ncsdk转换编译的深度学习模型,在飞腾x100套件nna模块上运行。测试样例包含了常用的深度学习模型,以及相应的运行测试源码,用户可以根据本文档的说明直接运行源码,得到相应模型的性能参数。同时,用户可以参考测试源码,撰写代码,调用测试自己的模型。
1.2 文件目录
- 测试源码文件夹:该文件夹以模型名称命名,如resnet50, yolov5, inceptionv2等,文件夹中包括:
1)测试样例源码,以.py结尾的python程序;
2)转换编译完成的模型,以.mbs.bin结尾的文件,名称中的i32o32分别表示输入input位宽和输出output位宽,d16表示data内存位宽,w16d16分别表示权重weights位宽和偏置bias位宽;
3)源码运行所需的相关文件,部分模型的调用推理有额外需求,如retinanet中包含后处理相关的文件夹retinanet_post;
4)custom_ops_cfg_runtime.json:该文件中包含了部分算子的库文件说明,在测试样例中,nna session的构建需要用到该文件。 - nna文件夹:该文件夹包含了模型推理运行所需要的库文件,在运行程序前需要先export该文件夹。
- utils文件夹:该文件夹包含了部分模型推理前后处理的函数实现;
- coco_eval文件夹:该文件夹包含了coco数据集相关的文件以及评估相关的源码,在测试检测模型时会用到该文件夹中的内容。
- imagenet_class_index.json:imagenet验证数据集的类别标签映射,进行分类模型测试时,decode_predictions解析模型预测结果会用到该文件,decode_predictions会自动下载该文件,由于外网访问限制,可能导致下载失败,所以我们进行了手动下载,并对decode_predictions做了如下修改:
其中,imagenet_class_index.json文件的位置被赋值给fpath,此外,decode_predictions由"from keras_applications.imagenet_utils import decode_predictions"导入。
- images:该文件夹包含了少量的测试图片,testImage_imagenet中是13张imagenet数据集中的图片,testImg_coco中是10张coco数据集中的图片。
1.3 测试数据
1.3.1 分类模型测试数据
分类模型采用imagenet数据集的验证集作为测试数据,我们采用的数据集版本是ILSVRC2012,该数据集可以通过imagenet官网下载,下载链接:https://image-net.org/challenges/LSVRC/2012/index.php。验证集包含50000张图片。
1.3.2 检测模型测试数据
检测模型采用coco2017数据集的验证集作为测试数据,coco2017数据集下载地址:https://cloud.tencent.com/developer/article/1765601。验证集包含5000张图片。
2 benchmark测试样例运行
在运行之前,需要安装驱动,进入到驱动所在的文件夹,运行以下三条指令:
sudo insmod img_mem/img_mem_vha.ko
sudo insmod vha/vha.ko
sudo chmod a+rw /dev/vha0
此外,可以通过lsmod指令查看驱动是否完成安装,完成安装如下图所示,可以看到vha和img_mem_vha两个module。
2.1 分类模型
1)如果是在终端首次运行,需要先export nna中的库文件,命令:
export LD_LIBRARY_PATH=/home/test/testProject/nna_model_zoo/nna
其中,"="后接的是nna所在的绝对路径。
2)进入到以模型名称命名的测试源码文件夹,以resnet50为例:
(base) test@test:~/testProject/nna_model_zoo$ cd resnet50
(base) test@test:~/testProject/nna_model_zoo/resnet50$ ls
custom_ops_cfg_runtime.json
resnet50_i32o32_d16_w16b16.mbs.bin
resnet50_i32o32_d8_w8b8.mbs.bin
nna_resnet50_classify_multi-image.py
resnet50_i32o32_d8_w8b16.mbs.bin
其中,"nna_resnet50_classify_multi-image.py"即为resnet50对应的测试源码,".mbs.bin"不同配置下ncsdk转换编译的resnet50模型。
3)测试源码运行参数说明:
- input-imagesDir:指示测试图片所在的文件夹,对于分类模型,默认参数为"'../images/testImage_imagenet/'",测试时该参数对应的是imagenet验证集50000张图片所在的文件夹。
- input-devkitDir:imagenet验证集标签文件所在的文件夹,我们采用的标签是"ILSVRC2012_devkit_t12",下载完成的ILSVRC2012数据集中,可以找到该文件夹。
- net:模型所在的路径,即步骤2中的".mbs.bin"文件。
- mode:session mode,默认为"fpga"模式。
4)测试源码运行,直接通过python运行".py"后缀的python程序即可,根据需要设置运行参数:
python nna_resnet50_classify_multi-image.py
--input-imagesDir /home/test/dataset/ILSVRC2012_data/ILSVRC2012_img_val/ILSVRC2012_img_val/ILSVRC2012_img_val/
--net resnet50_i32o32_d16_w16b16.mbs.bin
5)分类模型的测试结果会输出模型推理的时间信息以及top1和top5命中率:
2.2 检测模型
1)如果是在终端首次运行,需要先export nna中的库文件,命令:
export LD_LIBRARY_PATH=/home/test/testProject/nna_model_zoo/nna
其中,"="后接的是nna所在的绝对路径。
2)进入到以模型名称命名的测试源码文件夹,以yolov5为例:
(base) test@test:~/testProject/nna_model_zoo$ cd yolov5/
(base) test\@test:\~/testProject/nna_model_zoo/yolov5\$ ls
custom_ops_cfg_runtime.json model_part.mbs.bin
yolov5_i32o32_d16_w8b16.mbs.bin model_final.mbs.bin
nna_detection_yolov5.py yolov5_i32o32_d8_w8b16.mbs.bin
其中,"nna_detection_yolov5.py"即为yolov5对应的测试源码,".mbs.bin"不同配置下ncsdk转换编译的yolov5模型。
3)测试源码运行参数说明:
- input-imagesDir:指示测试图片所在的文件夹,对于检测模型,默认参数为"'../images/testImg_coco/'",测试时该参数对应的是coco2017验证集5000张图片所在的文件夹。
- output:检测结果文件夹,即带有检测框的图片或者检测结果txt文件保存的路径,启用该功能需要取消对应代码段的注释,图片结果对应了"#draw box"代码段,txt结果对应了"# saving file for detection results"代码段。
- net:模型所在的路径,即步骤2中的".mbs.bin"文件。
- mode:session mode,默认为"fpga"模式。
4)检测模型的测试采用coco数据集,所以直接利用了pycocotools工具包中的评估功能,可以通过pip install pycocotools进行安装,然后还需要根据实际情况修改coco_eval文件夹下的配置文件coco_eval_cfg.py,其中:
- coco_labelmap_path:指示coco数据集类别标签的对应关系文件路径,即coco_labelmap.txt文件,已在coco_eval文件夹下。
- score_threshold:检测框过滤阈值。
- gt_file:coco2017验证集对应的标签文件的路径,在下载完成的coco2017数据集中,"annotations/instances_val2017.json"。
- det_file:检测模型推理结果保存的文件,主要用于检测模型的评估,因为pycocotools工具包中的评估功能对检测结果的保存格式有相应的要求,所以coco_eval文件夹主要是为了将检测结果保存成符合要求的格式,然后调用pycocotools工具包中的COCOeval完成评估。
5)测试源码运行,直接通过python运行".py"后缀的python程序即可,根据需要设置运行参数:
python nna_detection_yolov5.py
--input-imagesDir /home/test/dataset/cocoDataset/val2017/
--net yolov5_i32o32_d8_w8b16.mbs.bin
检测模型的测试结果会输出模型推理的时间信息以及AP(average precision):
推荐阅读
欢迎广大开发者来飞腾开发者平台获取更多前沿技术文档及资料
如开发者在使用飞腾产品有任何问题可通过在线工单联系我们
版权所有。飞腾信息技术有限公司 2023。保留所有权利。
未经本公司同意,任何单位、公司或个人不得擅自复制,翻译,摘抄本文档内容的部分或全部,不得以任何方式或途径进行传播和宣传。
商标声明
Phytium和其他飞腾商标均为飞腾信息技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
本文档的内容视为飞腾的保密信息,您应当严格遵守保密任务;未经飞腾事先书面同意,您不得向任何第三方披露本文档内容或提供给任何第三方使用。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,飞腾在现有技术的基础上尽最大努力提供相应的介绍及操作指引,但飞腾在此明确声明对本文档内容的准确性、完整性、适用性、可靠性的等不作任何明示或暗示的保证。
本文档中所有内容,包括但不限于图片、架构设计、页面布局、文字描述,均由飞腾和/或其关联公司依法拥有其知识产权,包括但不限于商标权、专利权、著作权等。非经飞腾和/或其关联公司书面同意,任何人不得擅自使用、修改,复制上述内容。