Yolov部署在Windows和Android上

billy1455332024-03-21 19:54

Yolov部署在Windows和Android上

前言
- 主要模块
- 主要流程
- - 转换为ONNX
- 部署代码
- - JAVA
  - C++

前言

Yolov是目标检测的利器，工业中运用得很火。尽管网上的Yolov部署资料很多，但是这块内容目前做得还算上成熟。为了将Yolov部署在Android和Windows上费了些功夫，这里稍微做一些填坑记录。

主要模块

OpenCV 4.8 ，图像处理
onnx runtime，微软的模型推理模块，支持onnx模型格式
Yolov7，改为单类模型，用于瑕疵检测

尽管OpenCV自带DNN模块，可以加载ONNX模型，但是经过测试，能力非常有限。特别是对于端对端输出的yolov结构，基本不支持。因此这里使用微软的ONNX模型。

主要流程

训练Yolov模型，得到权重文件pt，将pt转换为ONNX模型。这里的转换参数非常重要，为了解析方便，模型直接用端对端编译输出，这样不需要额外做非极大值抑制NMS算法。但是这导致OpenCV的DNN模块无法解析模型。

转换为ONNX

bash 复制代码

python export.py --weights ./runs/train/exp6/weights/best.pt --grid --end2end --simplify --topk-all 10 --iou-thres 0.45 --conf-thres 0.25 --img-size 640 640

在https://netron.app/查看onnx模型结构，可以看到

EfficientNMS_TRT是NMS算法部分，输出结果很清晰，但是ONNX模块不支持，加载模型出错。解决方法是替换NMS模块，利用下面的方式编译

bash 复制代码

python export.py --weights ./runs/train/exp6/weights/best.pt --grid --end2end --simplify --topk-all 10 --iou-thres 0.45 --conf-thres 0.25 --img-size 640 640 --max-wh 640

新模型输出结构如图，完全符合要求。第一个维度代表了检测目标的个数，第二个维度有7个参数，分别是 batch_id，x0，y0，x1，y1，cls_id，score。需要注意的是，对于单类模型，score值是偏低的

如果模型不要求是端对端，估计OpenCV也能支持，就是需要自己准备NMS算法，不是懒人喜欢的方式。

部署代码

部署代码网上很多，这里不再赘述，需要注意的是，解析的代码要和自己的网络结构要一致。

JAVA

参考 https://gitee.com/agricultureiot/yolo-onnx-java

C++

参考 https://github.com/itsnine/yolov5-onnxruntime

里面有现成封装好的类,支持NMS，不过可能需要根据自己的网络输出调整。有好多年没拿起visual studio，感觉还相当怀旧。只是多年未见，C++仍旧是块硬骨头，各种编译问题，光是强硬的类型转换就让人望而生畏。