解决Opencv dnn模块无法使用onnx模型的问题(将onnx的动态输入改成静态)

一、问题来源

最近做人脸识别项目,想只用OpenCV自带的人脸检测和识别模块实现,使用OpenCV传统方法:Haar级联分类器人脸检测+LBPH算法人脸识别的教程已经有了,于是想着用OpenCV中的dnn模块来实现,dnn实现人脸检测也有(详细教程可见我的这篇博客https://blog.csdn.net/weixin_42149550/article/details/131474284),问题就是基于cnn的人脸识别咋用opencv的dnn模块实现?一番搜索,发现OpenCV的dnn模块在加载YuNet模型时会报错

从官网下载的模型文件:

python 复制代码
# 加载人脸检测模型
faceDetector = cv2.FaceDetectorYN.create('./opencvmodels/yunet.onnx', '', (320, 320))
# 加载人脸识别模型
faceRecognizer = cv2.FaceRecognizerSF_create(model='./opencvmodels/face_recognizer_fast.onnx', config='')

yunet模型加载会报错,face_recognizer_fast加载没有问题

报错提示:

重点看最后一句话:

error: (-215:Assertion failed) !isDynamicShape in function 'cv::dnn::dnn4_v20221220::ONNXImporter::parseShape'

这句报错是说加载的onnx模型是动态的,但是OpenCV的cv2.FaceDetectorYN.create()不支持加载动态的模型,这里的动态指的是模型没有指定固定的输入参数。

我们通过netron(https://netron.app/)来查看yunet.onnx的模型结构(部分)

从图中可以看到,官网上下载的模型结构batch_size,height,width都是未知的,这在OpenCV中是不支持的,虽然问题知道了,但是在网上查了几天都没找到解决办法!!!

PS:遇到bug真的不能陷进去,放一放,平静一下,第二天说不定就能解决了

二、解决办法

非常感谢这几篇文章,让我对onnx模型有了更多的了解,最后终于摸索出来(把自己给感动了)
如何修改已有的ONNX模型 https://tool.4xseo.com/a/15892.html
模型部署入门教程(五):ONNX 模型的修改与调试

https://zhuanlan.zhihu.com/p/516920606?utm_medium=social\&utm_oi=800114666985648128\&utm_id=0
官网讨论

https://github.com/opencv/opencv/issues/23288


先看onnx解释:

ONNX 在底层是用 Protobuf 定义的。Protobuf,全称 Protocol Buffer,是 Google 提出的一套表示和序列化数据的机制。使用 Protobuf 时,用户需要先写一份数据定义文件,再根据这份定义文件把数据存储进一份二进制文件。可以说,数据定义文件就是数据类,二进制文件就是数据类的实例。

神经网络本质上是一个计算图。计算图的节点是算子,边是参与运算的张量。而通过可视化 ONNX 模型,我们知道 ONNX 记录了所有算子节点的属性信息,并把参与运算的张量信息存储在算子节点的输入输出信息中。事实上,ONNX 模型的结构可以用类图大致表示如下:

我们把yunet.onnx模型先加载进来

python 复制代码
# 使用onnx模块
model = onnx.load('./opencvmodels/yunet.onnx')
onnx.checker.check_model(model) # 验证Onnx模型是否准确

通过验证说明OpenCV提供的onnx模型是没有问题的。

接着我们打印出yunet的计算图

python 复制代码
# 计算图太大了
print(model.graph)

可以看到initializer中储存了一个节点的数据信息,其中的名字name都是跟netron中看到的一一对应,因为数据太多了,看不全,我们只把计算图的ninput输入部分打印出来,看看是怎么样的

python 复制代码
print(model.graph.input)

[name: "input"

type {

tensor_type {

elem_type: 1

shape {

dim {

dim_param: "batch_size"

}

dim {

dim_value: 3

}

dim {

dim_param: "height"

}

dim {

dim_param: "width"

}

}

}

}

]

可以看到输入结构在onnx中是一个可迭代的列表容器,包含了name名字,type类型,type中又定义了输入的维度,现在的思路就是要把shape中的dim_param: "height"和dim_param: "width"换成固定的值即dim_value,我们一层一层来打印:

python 复制代码
for input_node in model.graph.input:
    print(input_node)

name: "input"

type {

tensor_type {

elem_type: 1

shape {

dim {

dim_param: "batch_size"

}

dim {

dim_value: 3

}

dim {

dim_param: "height"

}

dim {

dim_param: "width"

}

}

}

}

我们遍历输入结构,可以看到外层的括号去掉了,我们接着向下层索引:

python 复制代码
for input_node in model.graph.input:
    print(input_node.type)

tensor_type {

elem_type: 1

shape {

dim {

dim_param: "batch_size"

}

dim {

dim_value: 3

}

dim {

dim_param: "height"

}

dim {

dim_param: "width"

}

}

}

python 复制代码
for input_node in model.graph.input:
    print(input_node.type.tensor_type.shape)

dim {

dim_param: "batch_size"

}

dim {

dim_value: 3

}

dim {

dim_param: "height"

}

dim {

dim_param: "width"

}

那么思路就有了,我们只要索引到dim这一层,然后把其中的dim_param: "height"和dim_param: "width"替换成固定的dim_value: 320就可以了

python 复制代码
for input_node in model.graph.input:
    # print(input_node.type.tensor_type.shape)
    input_node.type.tensor_type.shape.dim[2].dim_value = 320
    input_node.type.tensor_type.shape.dim[3].dim_value = 320
    print(input_node.type.tensor_type.shape)

想要的结果出现了!!!

dim {

dim_param: "batch_size"

}

dim {

dim_value: 3

}

dim {

dim_value: 320

}

dim {

dim_value: 320

}

接下来我们重新验证模型有没有问题,然后将模型保存成新的模型

python 复制代码
onnx.checker.check_model(model)
onnx.save(model, 'opencvmodels/new_yunet.onnx')

我们重新在netron中查看一下模型结构

新的yunet模型的输入已经改成固定输入尺寸,下面我们来测试一下模型能不能用

python 复制代码
recognize_net = cv2.dnn.readNetFromONNX('./opencvmodels/new_yunet.onnx')
dnn_faceDetector = cv2.FaceDetectorYN_create(model="./opencvmodels/new_yunet.onnx", config="", input_size=(320, 320))

没有报错!!! 呜呜呜~~~~

来看一下人脸识别效果

(借用彭于晏哥哥的照片)

人脸对齐

cv2.FaceDetectorYN还封装了人脸对齐,超级方便有木有

python 复制代码
face1_align = faceRecognizer.alignCrop(image1, face1_detect[1])

人脸检测

检测的准确率很高!!

人脸匹配结果,判断出这是同一个人,这里使用了两种距离匹配方法:余弦距离和L2距离,结果一样。

大功告成!!!

相关推荐
2403_8757368715 分钟前
道品科技智慧农业中的自动气象检测站
网络·人工智能·智慧城市
学术头条38 分钟前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
准橙考典39 分钟前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法
ai_xiaogui43 分钟前
AIStarter教程:快速学会卸载AI项目【AI项目管理平台】
人工智能·ai作画·语音识别·ai写作·ai软件
孙同学要努力1 小时前
《深度学习》——深度学习基础知识(全连接神经网络)
人工智能·深度学习·神经网络
喵~来学编程啦1 小时前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
深圳市青牛科技实业有限公司2 小时前
【青牛科技】应用方案|D2587A高压大电流DC-DC
人工智能·科技·单片机·嵌入式硬件·机器人·安防监控
水豚AI课代表2 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
几两春秋梦_2 小时前
符号回归概念
人工智能·数据挖掘·回归
用户691581141653 小时前
Ascend Extension for PyTorch的源码解析
人工智能