【进阶OpenCV】 (11)--DNN板块--实现风格迁移

文章目录

DNN板块

DNN模块 是 OpenCV 中专门用来实现 DNN(Deep Neural Networks,深度神经网络) 模块的相关功能,其作用是载入别的深度学习框架 (如 TensorFlow、Caffe、Torch 等)中已经训练好的模型,然后用该模型完成预测等工作。

DNN进行风格迁移是一项基于深度学习技术的图像处理方法,它允许将一张图片(风格图)中的风格、纹理迁移到另一张图片(内容图)上,同时保留内容图原有的主体结构。

一、DNN特点

  • 轻量: OpenCV 的深度学习模块只实现了模型推理功能,不涉及模型训练,这使得相关程序非常精简,加速了安装和编译过程。
  • 外部依赖性低:重新实现一遍深度学习框架使得 DNN 模块对外部依赖性极低,极大地方便了深度学习应用的部署。
  • 方便:在原有 OpenCV 开发程序的基础上,通过 DNN 模块可以非常方便地加入对神经网络推理的支持。
  • 集成:若网络模型来自多个框架,如一个来自 TensorFlow,另外一个来自 Caffe,则 DNN 模块可以方便地对网络进行整合。
  • 通用性:DNN 模块提供了统一的接口来操作网络模型,内部做的优化和加速适用于所有网络模型格式,支持多种设备和操作系统。

二、DNN函数流程

  • 图像预处理

将需要处理的图像转换成可以传入人工神经网络的数据形式

DNN 模块中的函数 blobFromlmage 完成图像预处理,从原始图像构建一个符合人工神经网络输入格式的四维块。它通过调整图像尺寸和裁图像、减均值、按比例因子缩放、交换 B 通道和R通道等可选操作完成对图像的预处理,得到符合人工神经网络输入的目标值。

三、实现风格迁移

基本原理:风格迁移的实现通常基于卷积神经网络(CNNs),尤其是预训练的卷积神经网络(如VGG网络)。使用这些网络,可以提取内容图像的内容特征和风格图像的风格特征。这通常涉及到在网络的不同层次上计算特征表示。然后,定义一个损失函数,该函数包括内容损失和风格损失两个部分。内容损失用于确保生成图像与内容图像相似,而风格损失则用于确保生成图像的风格与风格图像匹配。通过最小化损失函数,使用梯度下降或其他优化方法来调整生成图像的像素值,使损失最小化,从而导致生成图像逐渐融合内容和风格。

接下来我们尝试将以下图片转化为星空风格

1. 图像预处理

对于图像的预处理,我们需要通过cv2.dnn.blobFromImage()函数来将图像转换成可以传入人工神经网络的数据形式:

python 复制代码
blob = cv2.dnn.blobFromImage(image, scalefactor, size, mean, swapRB=True, crop=False)

参数

python 复制代码
-- image (必需):要转换的图像,通常是一个通过 OpenCV 读取的彩色或灰度图像。
-- scalefactor (必需):图像缩放因子。这个值用于调整图像的像素值范围,通常设置为 1.0(不缩放)。
-- size (必需):输出 blob 的空间尺寸(宽度,高度)。这个值应该与你要使用的预训练模型的输入尺寸相匹配。
-- mean (可选):从每个通道中减去的均值。这通常用于数据标准化,以便模型能够更好地处理输入数据。对于预训练的模型,这个值通常是固定	的,并且可以在模型的文档中找到。
-- swapRB (可选):是否交换红色和蓝色通道。
-- crop (可选):是否在预处理过程中裁剪图像。

预处理

python 复制代码
import cv2
"""-----图片预处理-----"""
# 读取输入图像
image = cv2.imread('tu.jpg')
# 显示输入图像
cv2.imshow('yuan_tu',image)
cv2.waitKey(0)

(h,w) = image.shape[:2] # 获取图像尺寸
blob = cv2.dnn.blobFromImage(image,1,(w,h),(0,0,0),swapRB = True,crop = False)

2. 加载星空模型

通过cv2.dnn.readNet()函数 加载模型,通过**net.setInput()设置输入,然后通过net.forward()**进行前向传播得到输出:

python 复制代码
net = cv2.dnn.readNet(r'model\starry_night.t7') # 得到一个pytorch训练后的星空模型

# 设置神经网络的输入
net.setInput(blob)
# 对输入图片进行前向传播,得到输出结果
out = net.forward()

3. 输出处理

将输出结果转换为合适的格式,out是四维的:B*C*H*W(B:batch图像数量(通常为1);C:channels通道数;H:height高度;W:width宽度)。

所以我们需要重塑形状(忽略第一维),4维变3维,调整输出out的形状,模型推理输出out是四维BCHW形式的,调整为三维CHW形式。

python 复制代码
# 重塑形状
out_new = out.reshape(out.shape[1],out.shape[2],out.shape[3])
# 对输入的数组(或图像)进行归一化处理,使其数值范围在指定的范围内
cv2.normalize(out_new,out_new,norm_type=cv2.NORM_MINMAX)
# 转置输出结果的维度,将通道维度移动到了最后,因为OpenCV期望图像以HWC格式显示。
result = out_new.transpose(1,2,0)
# 显示转换后的图像
cv2.imshow('Stylized Image',result)
cv2.waitKey(0)
cv2.destroyAllWindows()

总结

本篇介绍了,如何通过DNN板块进行风格迁移。

注意!!!:进行风格迁移时,需要将传入的图片转换成可以传入人工神经网络的数据形式。且输出时进行转置,将通道维度移动到了最后,因为OpenCV期望图像以HWC格式显示。

相关推荐
东胜物联7 分钟前
探寻5G工业网关市场,5G工业网关品牌解析
人工智能·嵌入式硬件·5g
皓74118 分钟前
服饰电商行业知识管理的创新实践与知识中台的重要性
大数据·人工智能·科技·数据分析·零售
985小水博一枚呀1 小时前
【深度学习滑坡制图|论文解读3】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer
AltmanChan1 小时前
大语言模型安全威胁
人工智能·安全·语言模型
985小水博一枚呀1 小时前
【深度学习滑坡制图|论文解读2】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer·迁移学习
数据与后端架构提升之路1 小时前
从神经元到神经网络:深度学习的进化之旅
人工智能·神经网络·学习
爱技术的小伙子1 小时前
【ChatGPT】如何通过逐步提示提高ChatGPT的细节描写
人工智能·chatgpt
深度学习实战训练营3 小时前
基于CNN-RNN的影像报告生成
人工智能·深度学习
昨日之日20064 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_5 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测