深度学习中的特征到底是什么?

深度学习中的特征到底是什么?

深度学习中的特征到底是什么?

特征要有对比才能更好地认识和区别。

常见的图像特征,如sobel边缘算子,提取出来的是图像的边缘特征信息,表示的是图像中像素有突

变的地方,然后用一个3*3的滤波器模板去提取出来。又比如LBP算子,对人脸区域比较敏感,能用

来检测人脸。这些特征都是通过某种方式(可以是滤波器算子等等)来提取某种类型的信息,换个说

法就是,输入图像通过一个数学变换+方式,将信息域从图像转换到另另一个信息域(边缘等),就

类似于,时序信号通过傅里叶变换+转成频域信号。

✨总的来说,特征提取+就是转换信息域,用另一种形式去表示图像的其某种特性

以红外与可见光图像融合为例,通常我们认为,浅层图像特征更更接近源图像,高频信号比较多,代

表边缘纹理比较多。随着下采样+等过程,深层特征更抽象,低频信号号比较多,代表语义因为比较

多。

CNN类型与GAN类型的区别,大家都有一个用于生成融合图像的网络但是损失的比较内容和形式

不一样。CNN的强度损失是直接用源图像与融合图像进行比较。CNN的边缘损失是用sobel算子+分

别计算源图像与融合图像的边缘,再用边缘图像进行比较。GAN是将源图像和融合图像分别通过鉴

别器网络,得到各自的概率分布+来进行比较。

以上,有图像、边缘、概率分布等信息域,因为损失是没办法完全为0的,只能尽可能的趋近于,因

此,需要从你认为重要的几个信息域去趋于一致。

现在已经有所有的损失都是在不同信息域进行比较的思想,接下来是拓展思维,如何设计深度学习

网络和损失函数*。

深度学习网络是一个万能函数拟合器+,它可以将输入拟合成任何你想要的样子,只要你用损失去

约束生成的东西和损失比较的东西趋于一致。这时候,网络模型型是有瓶颈的,越好的网络模型拟合

能力越强。

✨损失函数决定上限,网络模型决定离上限有多远。

如何想让网络模型生成的图像具有更多的边缘纹理信息,除了损失函数数用sobel作边缘损失以外,最

好还可以在网络里加入sobel算子作为预定义参数的卷积模块,女QSeAFusion。相同的思路,可以把

这种sobel分支当成随插随用的模块,嵌入到自己想要拿来用的模块。

如何设计损失函数,直接作L1L2损失,加个鉴别器(网络)是概率分布相关的损失,加个深度检测

网络是检测目标显著性的损失,加个语义分割+网络是检测语义信息的损失。GAN只是在CNN的基

础上加一些对抗机制。所以才有说,CNN类型是通过精心设计的网络模型和损失函数来生成高质量

的融合图像。VGG19的感知损失+是将图像在VGG19的不同层次的特征上趋于一致。

那么,你想让网络生成的结果更像什么呢?

相关推荐
绿算技术16 分钟前
存储新势力:助力DeepSeek一体机
人工智能·科技·缓存·fpga开发
Y1nhl1 小时前
搜广推校招面经八十一
开发语言·人工智能·pytorch·深度学习·机器学习·推荐算法·搜索算法
胡攀峰1 小时前
第12章 微调生成模型
人工智能·大模型·llm·sft·强化学习·rlhf·指令微调
yuanlaile1 小时前
AI大模型自然语言处理能力案例演示
人工智能·ai·自然语言处理
小白白搭建1 小时前
WordPress AI 原创文章自动生成插件 24小时全自动生成SEO原创文章 | 多语言支持 | 智能配图与排版
人工智能
Jamence1 小时前
多模态大语言模型arxiv论文略读(三十九)
人工智能·语言模型·自然语言处理
ai大模型木子1 小时前
嵌入模型(Embedding Models)原理详解:从Word2Vec到BERT的技术演进
人工智能·自然语言处理·bert·embedding·word2vec·ai大模型·大模型资料
普if加的帕3 小时前
java Springboot使用扣子Coze实现实时音频对话智能客服
java·开发语言·人工智能·spring boot·实时音视频·智能客服
KoiC3 小时前
Dify接入RAGFlow无返回结果
人工智能·ai应用
lilye663 小时前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析