《OpenCV》——DNN模块

DNN模块是什么？

OpenCV 的 DNN 模块是在 OpenCV 3.3 版本引入的，它旨在为开发者提供一个统一的接口，以便在 OpenCV 框架内加载、部署和运行各种预训练的深度神经网络模型。该模块支持多种深度学习框架训练的模型，无需额外安装复杂的深度学习库，就能在不同平台上实现高效的推理。

DNN模块的特点

支持的模型格式

Caffe：由伯克利视觉和学习中心（BVLC）开发的深度学习框架，OpenCV 可以加载 Caffe 训练的模型（.prototxt 用于定义网络结构，.caffemodel 存储训练好的权重）。
TensorFlow：谷歌开发的开源深度学习框架，OpenCV 支持加载 TensorFlow 的冻结图模型（.pb 文件）。
PyTorch：Facebook 开发的深度学习框架，OpenCV 可以加载经过 ONNX（开放神经网络交换格式）转换后的 PyTorch 模型（.onnx 文件）。
Darknet：YOLO（You Only Look Once）目标检测算法所使用的深度学习框架，OpenCV 能加载 Darknet 训练的模型（.cfg 定义网络结构，.weights 存储权重）。

主要功能

图像分类：可以使用预训练的分类模型（如 ResNet、VGG 等）对输入图像进行分类，判断图像所属的类别。
目标检测：支持多种目标检测模型（如 YOLO、SSD 等），能够在图像或视频中检测出特定目标的位置和类别。
语义分割：利用语义分割模型（如 U-Net、DeepLab 等）将图像中的每个像素划分到不同的类别，实现对图像的精细化分析。
特征提取：从输入数据中提取高级特征，这些特征可用于后续的机器学习任务，如目标识别、图像检索等。

实例风格迁移

通过torch训练好的模型进行对图片的处理。

模型如下：通过网盘分享的文件：model.zip

链接: https://pan.baidu.com/s/1EjVsi3WIGcOm8Gk28xiMWA 提取码: x2m3

文件模型可以自由挑选

本文使用图片：

代码：

python 复制代码

import cv2

# 读取指定路径下的图片文件 'nezha.jpg'，将其存储为一个多维数组（表示图像）
# 该数组包含了图像的像素信息，后续可以对这些像素进行各种操作
image = cv2.imread('nezha.jpg')

# 使用 cv2.imshow 函数显示原始图像
# 第一个参数 'yuan tu' 是显示窗口的标题，第二个参数 image 是要显示的图像
cv2.imshow('yuan tu', image)

# cv2.waitKey(0) 用于等待用户按下任意按键
# 参数 0 表示无限等待，直到用户按下按键才会继续执行后续代码
cv2.waitKey(0)

'''图片预处理'''
# 获取图像的高度和宽度
# image.shape 返回一个元组，包含图像的高度、宽度和通道数
# [:2] 表示取元组的前两个元素，即高度和宽度
(h, w) = image.shape[:2]

# 使用 cv2.dnn.blobFromImage 函数对图像进行预处理，将其转换为适合神经网络输入的格式
# 第一个参数 image 是要处理的图像
# 第二个参数 1 是缩放因子，这里不进行缩放
# 第三个参数 (w, h) 是输出图像的尺寸，这里保持原图像的尺寸
# 第四个参数 (0, 0, 0) 是每个通道的均值，这里将每个通道的均值设为 0
# swapRB=False 表示不交换颜色通道（在 OpenCV 中，图像默认是 BGR 格式）
# crop=False 表示不进行裁剪操作
blob = cv2.dnn.blobFromImage(image, 1, (w, h), (0, 0, 0), swapRB=False, crop=False)

'''加载模型'''
# 使用 cv2.dnn.readNet 函数加载预训练的神经网络模型
# r'model\starry_night.t7' 是模型文件的路径，r 表示原始字符串，避免反斜杠被转义
net = cv2.dnn.readNet(r'model\starry_night.t7')

# 将预处理后的图像数据 blob 输入到神经网络中
net.setInput(blob)

# 调用 net.forward() 函数进行前向传播计算
# 即让图像数据通过神经网络，得到输出结果
out = net.forward()

# 调整输出结果的形状
# out.shape 返回输出结果的维度信息，通过 reshape 函数将其重新调整为 (out.shape[1], out.shape[2], out.shape[3]) 的形状
out_new = out.reshape(out.shape[1], out.shape[2], out.shape[3])

# 对调整形状后的输出结果进行归一化处理
# cv2.normalize 函数用于将数组中的元素值归一化到指定的范围
# 第一个参数 out_new 是要进行归一化处理的数组
# 第二个参数 out_new 是输出数组，这里表示将归一化后的结果存储在原数组中
# norm_type=cv2.NORM_MINMAX 表示使用最小 - 最大归一化方法，将数组中的元素值缩放到 [0, 1] 范围内
cv2.normalize(out_new, out_new, norm_type=cv2.NORM_MINMAX)

# 对归一化后的结果进行维度转换
# transpose(1, 2, 0) 表示将数组的维度按照指定的顺序进行重新排列
# 这样可以将数据转换为适合 OpenCV 显示的格式
result = out_new.transpose(1, 2, 0)

# 使用 cv2.imshow 函数显示经过风格转换后的图像
# 'Stylized Image' 是显示窗口的标题，result 是要显示的图像
cv2.imshow('Stylized Image', result)

# 再次等待用户按下任意按键
cv2.waitKey(0)

# 关闭所有由 OpenCV 创建的窗口，释放相关资源
cv2.destroyAllWindows()

结果：

也可以对视频进行风格迁移，一下是摄像头拍摄的风格迁移

python 复制代码

import cv2
cap = cv2.VideoCapture(0)
net = cv2.dnn.readNetFromTorch(r'D:\where-python\python-venv\shi_jue_demo\DNN\model\starry_night.t7')
if not cap.isOpened():
    print('摄像头启动失败')
    exit()
while True:
    ret,frame = cap.read()
    if not ret:
        print('不能读取摄像头')
        break
    (h,w) = frame.shape[:2]
    blob = cv2.dnn.blobFromImage(frame,1,(w,h),(0,0,0),swapRB=True,crop=False)
    net.setInput(blob)
    out = net.forward()
    out_new = out.reshape(out.shape[1],out.shape[2],out.shape[3])
    cv2.normalize(out_new,out_new,norm_type=cv2.NORM_MINMAX)
    result = out_new.transpose(1,2,0)
    cv2.imshow('result',result)
    key_pressed = cv2.waitKey(10)
    if key_pressed ==27:
        break
cap.release()
cv2.destroyAllWindows()