【进阶OpenCV】 (11)--DNN板块--实现风格迁移

文章目录

DNN板块

DNN模块 是 OpenCV 中专门用来实现 DNN(Deep Neural Networks,深度神经网络) 模块的相关功能,其作用是载入别的深度学习框架 (如 TensorFlow、Caffe、Torch 等)中已经训练好的模型,然后用该模型完成预测等工作。

DNN进行风格迁移是一项基于深度学习技术的图像处理方法,它允许将一张图片(风格图)中的风格、纹理迁移到另一张图片(内容图)上,同时保留内容图原有的主体结构。

一、DNN特点

  • 轻量: OpenCV 的深度学习模块只实现了模型推理功能,不涉及模型训练,这使得相关程序非常精简,加速了安装和编译过程。
  • 外部依赖性低:重新实现一遍深度学习框架使得 DNN 模块对外部依赖性极低,极大地方便了深度学习应用的部署。
  • 方便:在原有 OpenCV 开发程序的基础上,通过 DNN 模块可以非常方便地加入对神经网络推理的支持。
  • 集成:若网络模型来自多个框架,如一个来自 TensorFlow,另外一个来自 Caffe,则 DNN 模块可以方便地对网络进行整合。
  • 通用性:DNN 模块提供了统一的接口来操作网络模型,内部做的优化和加速适用于所有网络模型格式,支持多种设备和操作系统。

二、DNN函数流程

  • 图像预处理

将需要处理的图像转换成可以传入人工神经网络的数据形式

DNN 模块中的函数 blobFromlmage 完成图像预处理,从原始图像构建一个符合人工神经网络输入格式的四维块。它通过调整图像尺寸和裁图像、减均值、按比例因子缩放、交换 B 通道和R通道等可选操作完成对图像的预处理,得到符合人工神经网络输入的目标值。

三、实现风格迁移

基本原理:风格迁移的实现通常基于卷积神经网络(CNNs),尤其是预训练的卷积神经网络(如VGG网络)。使用这些网络,可以提取内容图像的内容特征和风格图像的风格特征。这通常涉及到在网络的不同层次上计算特征表示。然后,定义一个损失函数,该函数包括内容损失和风格损失两个部分。内容损失用于确保生成图像与内容图像相似,而风格损失则用于确保生成图像的风格与风格图像匹配。通过最小化损失函数,使用梯度下降或其他优化方法来调整生成图像的像素值,使损失最小化,从而导致生成图像逐渐融合内容和风格。

接下来我们尝试将以下图片转化为星空风格

1. 图像预处理

对于图像的预处理,我们需要通过cv2.dnn.blobFromImage()函数来将图像转换成可以传入人工神经网络的数据形式:

python 复制代码
blob = cv2.dnn.blobFromImage(image, scalefactor, size, mean, swapRB=True, crop=False)

参数

python 复制代码
-- image (必需):要转换的图像,通常是一个通过 OpenCV 读取的彩色或灰度图像。
-- scalefactor (必需):图像缩放因子。这个值用于调整图像的像素值范围,通常设置为 1.0(不缩放)。
-- size (必需):输出 blob 的空间尺寸(宽度,高度)。这个值应该与你要使用的预训练模型的输入尺寸相匹配。
-- mean (可选):从每个通道中减去的均值。这通常用于数据标准化,以便模型能够更好地处理输入数据。对于预训练的模型,这个值通常是固定	的,并且可以在模型的文档中找到。
-- swapRB (可选):是否交换红色和蓝色通道。
-- crop (可选):是否在预处理过程中裁剪图像。

预处理

python 复制代码
import cv2
"""-----图片预处理-----"""
# 读取输入图像
image = cv2.imread('tu.jpg')
# 显示输入图像
cv2.imshow('yuan_tu',image)
cv2.waitKey(0)

(h,w) = image.shape[:2] # 获取图像尺寸
blob = cv2.dnn.blobFromImage(image,1,(w,h),(0,0,0),swapRB = True,crop = False)

2. 加载星空模型

通过cv2.dnn.readNet()函数 加载模型,通过**net.setInput()设置输入,然后通过net.forward()**进行前向传播得到输出:

python 复制代码
net = cv2.dnn.readNet(r'model\starry_night.t7') # 得到一个pytorch训练后的星空模型

# 设置神经网络的输入
net.setInput(blob)
# 对输入图片进行前向传播,得到输出结果
out = net.forward()

3. 输出处理

将输出结果转换为合适的格式,out是四维的:B*C*H*W(B:batch图像数量(通常为1);C:channels通道数;H:height高度;W:width宽度)。

所以我们需要重塑形状(忽略第一维),4维变3维,调整输出out的形状,模型推理输出out是四维BCHW形式的,调整为三维CHW形式。

python 复制代码
# 重塑形状
out_new = out.reshape(out.shape[1],out.shape[2],out.shape[3])
# 对输入的数组(或图像)进行归一化处理,使其数值范围在指定的范围内
cv2.normalize(out_new,out_new,norm_type=cv2.NORM_MINMAX)
# 转置输出结果的维度,将通道维度移动到了最后,因为OpenCV期望图像以HWC格式显示。
result = out_new.transpose(1,2,0)
# 显示转换后的图像
cv2.imshow('Stylized Image',result)
cv2.waitKey(0)
cv2.destroyAllWindows()

总结

本篇介绍了,如何通过DNN板块进行风格迁移。

注意!!!:进行风格迁移时,需要将传入的图片转换成可以传入人工神经网络的数据形式。且输出时进行转置,将通道维度移动到了最后,因为OpenCV期望图像以HWC格式显示。

相关推荐
HPC_fac1305206781621 分钟前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
安静读书3 小时前
Python解析视频FPS(帧率)、分辨率信息
python·opencv·音视频
小陈phd3 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
Guofu_Liao4 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
秀儿还能再秀7 小时前
神经网络(系统性学习三):多层感知机(MLP)
神经网络·学习笔记·mlp·多层感知机
ZHOU_WUYI8 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若1238 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
老艾的AI世界8 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK221518 小时前
机器学习系列----关联分析
人工智能·机器学习
Robot2519 小时前
Figure 02迎重大升级!!人形机器人独角兽[Figure AI]商业化加速
人工智能·机器人·微信公众平台