深度学习复习笔记(8)特征提取与无监督学习

高维向量:人类无法理解的维度。

无监督方法

PCA把(不同的1)维度下降并聚在一起。

自监督学习:自己当自己标签。

无监督学习:让相同的特征离得更近。

怎么离得更近?

对比学习:对原图进行增广,提取自己和自己(的增广)共同的特征(交集),归为一类。

(模型必须具有特征提取能力)

对抗生成网络:判别器和生成器对抗,性能越来越好。

***关注模型的训练时,最该关注梯度从何而来。

回归任务梯度来源于真实值y于预测值y的差距。

分类任务梯度来源于两个概率分布的交叉熵损失。

GAN模型,判别器梯度来源于分类任务,生成器把判别器的准确率当成他的梯度(越低越好)。

现在不用GAN,都用扩散模型。

Cycle-GAN:

生成式自监督

loss来源于原始图片与还原图片之间的差异。

第一种:

把自己的一部分当作标签。模型只看到一部分,然后生成一张图片,和自己的原图进行对比生成loss。

第二种:

原图的黑白当作x,彩色当作y

文字的自监督:(效果很好,网上文字资料很多)

把遮盖后的文字当成x,原来的文字当作y。

预训练:预训练的任务和后面的任务没有关系,只是让模型具有特征提取能力。

经过预训练的模型,下游任务只需要少量的数据。

特征分离:将不同的图片提取出风格和内容特征,再用一张图片的风格特征融合另一张的内容。

如何提取出风格和内容特征?

可以用两个分类任务,一个风格分类任务,一个内容分类任务。

AI在玩特征,本质是进行特征的变换。

相关推荐
CoovallyAIHub20 小时前
超越“识别”:下一代机器视觉如何破解具身智能落地难题?
深度学习·算法·计算机视觉
Jump 不二21 小时前
百度 PaddleOCR 3.0 深度测评:与 MinerU 的复杂表格识别对决
人工智能·深度学习·百度·ocr
孤廖21 小时前
C++ 模板再升级:非类型参数、特化技巧(含全特化与偏特化)、分离编译破解
linux·服务器·开发语言·c++·人工智能·后端·深度学习
江苏世纪龙科技21 小时前
【世纪龙科技】新能源汽车动力电池拆装与检测虚拟实训软件介绍
学习
润 下21 小时前
C语言——回调函数的典型示例(分析详解)
c语言·开发语言·人工智能·经验分享·笔记·程序人生
朝新_21 小时前
【EE初阶 - 网络原理】传输层协议
java·开发语言·网络·笔记·javaee
koo36421 小时前
李宏毅机器学习笔记27
人工智能·笔记·机器学习
whale fall21 小时前
与deepseek用英语聊天的第一天
学习
CoovallyAIHub21 小时前
全球OCR新标杆!百度0.9B小模型斩获四项SOTA,读懂复杂文档像人一样自然
深度学习·算法·计算机视觉
Francek Chen21 小时前
【深度学习计算机视觉】14:实战Kaggle比赛:狗的品种识别(ImageNet Dogs)
人工智能·pytorch·深度学习·计算机视觉·kaggle·imagenet dogs