深度学习中的特征到底是什么?

深度学习中的特征到底是什么?

深度学习中的特征到底是什么?

特征要有对比才能更好地认识和区别。

常见的图像特征,如sobel边缘算子,提取出来的是图像的边缘特征信息,表示的是图像中像素有突

变的地方,然后用一个3*3的滤波器模板去提取出来。又比如LBP算子,对人脸区域比较敏感,能用

来检测人脸。这些特征都是通过某种方式(可以是滤波器算子等等)来提取某种类型的信息,换个说

法就是,输入图像通过一个数学变换+方式,将信息域从图像转换到另另一个信息域(边缘等),就

类似于,时序信号通过傅里叶变换+转成频域信号。

✨总的来说,特征提取+就是转换信息域,用另一种形式去表示图像的其某种特性

以红外与可见光图像融合为例,通常我们认为,浅层图像特征更更接近源图像,高频信号比较多,代

表边缘纹理比较多。随着下采样+等过程,深层特征更抽象,低频信号号比较多,代表语义因为比较

多。

CNN类型与GAN类型的区别,大家都有一个用于生成融合图像的网络但是损失的比较内容和形式

不一样。CNN的强度损失是直接用源图像与融合图像进行比较。CNN的边缘损失是用sobel算子+分

别计算源图像与融合图像的边缘,再用边缘图像进行比较。GAN是将源图像和融合图像分别通过鉴

别器网络,得到各自的概率分布+来进行比较。

以上,有图像、边缘、概率分布等信息域,因为损失是没办法完全为0的,只能尽可能的趋近于,因

此,需要从你认为重要的几个信息域去趋于一致。

现在已经有所有的损失都是在不同信息域进行比较的思想,接下来是拓展思维,如何设计深度学习

网络和损失函数*。

深度学习网络是一个万能函数拟合器+,它可以将输入拟合成任何你想要的样子,只要你用损失去

约束生成的东西和损失比较的东西趋于一致。这时候,网络模型型是有瓶颈的,越好的网络模型拟合

能力越强。

✨损失函数决定上限,网络模型决定离上限有多远。

如何想让网络模型生成的图像具有更多的边缘纹理信息,除了损失函数数用sobel作边缘损失以外,最

好还可以在网络里加入sobel算子作为预定义参数的卷积模块,女QSeAFusion。相同的思路,可以把

这种sobel分支当成随插随用的模块,嵌入到自己想要拿来用的模块。

如何设计损失函数,直接作L1L2损失,加个鉴别器(网络)是概率分布相关的损失,加个深度检测

网络是检测目标显著性的损失,加个语义分割+网络是检测语义信息的损失。GAN只是在CNN的基

础上加一些对抗机制。所以才有说,CNN类型是通过精心设计的网络模型和损失函数来生成高质量

的融合图像。VGG19的感知损失+是将图像在VGG19的不同层次的特征上趋于一致。

那么,你想让网络生成的结果更像什么呢?

相关推荐
巴伦是只猫几秒前
【机器学习笔记Ⅰ】3 代价函数
人工智能·笔记·机器学习
NetX行者1 分钟前
基于Vue 3的AI前端框架汇总及工具对比表
前端·vue.js·人工智能·前端框架·开源
hans汉斯28 分钟前
【人工智能与机器人研究】基于力传感器坐标系预标定的重力补偿算法
人工智能·算法·机器人·信号处理·深度神经网络
cver12336 分钟前
CSGO 训练数据集介绍-2,427 张图片 AI 游戏助手 游戏数据分析
人工智能·深度学习·yolo·目标检测·游戏·计算机视觉
FreeBuf_40 分钟前
新型BERT勒索软件肆虐:多线程攻击同时针对Windows、Linux及ESXi系统
人工智能·深度学习·bert
强哥之神1 小时前
Meta AI 推出 Multi - SpatialMLLM:借助多模态大语言模型实现多帧空间理解
人工智能·深度学习·计算机视觉·语言模型·自然语言处理·llama
成都极云科技1 小时前
成都算力租赁新趋势:H20 八卡服务器如何重塑 AI 产业格局?
大数据·服务器·人工智能·云计算·gpu算力
喜欢吃豆1 小时前
从零构建MCP服务器:FastMCP实战指南
运维·服务器·人工智能·python·大模型·mcp
ai_xiaogui2 小时前
AIStarter用户与创作者模式详解:一键管理Stable Diffusion项目!
人工智能·stable diffusion·一键发布ai项目·熊哥aistarter教程·开发者必备aistarter
止步前行2 小时前
Cursor配置DeepSeek调用MCP服务实现任务自动化
人工智能·cursor·deepseek·mcp