对比学习训练是如何进行的

对比学习(Contrastive Learning)是一种自监督学习的方法,旨在通过拉近相似样本的表示、拉远不相似样本的表示来学习特征表示。在训练过程中,模型并不依赖标签,而是通过样本之间的相似性进行学习。以下是对比学习的基本原理和具体的训练流程:

1. 基本原理

对比学习的核心目标是通过构造正样本对(相似样本)和负样本对(不相似样本),让模型学习到对相似样本的特征表示更接近,而对不相似样本的特征表示更远。常用的对比学习方法有 SimCLR、MoCo 等。

  • 正样本对:指的是经过不同增强方式得到的同一图像的不同视角,或在一些情况下是语义上相关的图像对。
  • 负样本对:指的是不同图像对,它们在语义上或像素空间上不相关。

2. 对比学习的训练流程

以MoCo为例:

其中momentum encoder是动量编码器,将encoder中的k的参数更新过程使用动量公式来约束,在MoCo中,作者将m设置为0.99(即momentum encoder中k的参数除了刚开始赋值给他,encoder不进行反向传播更新,往后全靠自己更新),这样就可以使得k的参数更新更依赖于之前k的参数了。

步骤1:样本增强

  • 对每个输入样本(例如图像),通过数据增强(如随机裁剪、旋转、颜色扰动等)生成多个视图。每个样本经过增强后形成一个正样本对,即该样本的两个不同增强版本。

步骤2:特征提取

  • 将增强后的样本输入到神经网络(如卷积神经网络或 Transformer)中,提取它们的特征表示。特征提取器通常不带标签地训练,模型在这个过程中学习到数据的潜在结构。

步骤3:相似性度量

  • 对每个样本对,计算它们的特征表示之间的相似度。通常使用余弦相似度(Cosine Similarity)来衡量特征向量之间的相似性。

    • 对于正样本对(相同样本的不同视图),希望它们的特征表示尽量接近,即相似度高。
    • 对于负样本对(不同样本),希望它们的特征表示尽量远,即相似度低。

步骤4:损失函数

  • 对比学习常用的损失函数是对比损失(Contrastive Loss)NCE(Noise Contrastive Estimation)损失 ,其中最常用的是 InfoNCE 损失。该损失函数通过极大化正样本对的相似性,极小化负样本对的相似性来优化模型。

    InfoNCE 损失函数的公式如下:

    在反向传播过程中,L分别对q和k中的权重w微分来进行参数更新,使得权重作用于与q相似性高的k

    后的loss更低

步骤5:优化与更新

  • 利用梯度下降算法最小化对比损失,从而更新网络参数,使模型能够学到更好的特征表示。

3. 监督对比学习

在有标签的情况下,可以利用标签信息来构造更加有效的正负样本对。**监督对比学习(Supervised Contrastive Learning)**通过使用相同类别的样本作为正样本对,不同类别的样本作为负样本对,这种方式可以进一步提升模型的分类性能。具体步骤如下:

  1. 构建正样本对:对于每个样本,选择与其类别相同的其他样本作为正样本,而非只依赖数据增强生成正样本对。
  2. 构建负样本对:选择不同类别的样本作为负样本。

通过引入监督信息,监督对比学习可以更加有效地对齐同类别样本的特征表示,从而提升模型的泛化能力。

这种方式确保了模型能够更好地利用语言模式中的信息,增强对跨领域数据的泛化能力。相当于对正样本对最大化,负样本对最小化来使模型对于同类别的样本有着更好的辨识能力;在一些E2D的模型中,可以保留或冻结编码器部分当作预训练编码器,然后进行下游任务。

相关推荐
云上艺旅15 小时前
K8S学习之基础七十四:部署在线书店bookinfo
学习·云原生·容器·kubernetes
你觉得20515 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
hyshhhh16 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
A旧城以西17 小时前
数据结构(JAVA)单向,双向链表
java·开发语言·数据结构·学习·链表·intellij-idea·idea
无所谓จุ๊บ17 小时前
VTK知识学习(50)- 交互与Widget(一)
学习·vtk
FAREWELL0007517 小时前
C#核心学习(七)面向对象--封装(6)C#中的拓展方法与运算符重载: 让代码更“聪明”的魔法
学习·c#·面向对象·运算符重载·oop·拓展方法
Listennnn17 小时前
优雅的理解神经网络中的“分段线性单元”,解剖前向和反向传播
人工智能·深度学习·神经网络
吴梓穆17 小时前
UE5学习笔记 FPS游戏制作38 继承标准UI
笔记·学习·ue5
向上的车轮17 小时前
NOA是什么?国内自动驾驶技术的现状是怎么样的?
人工智能·机器学习·自动驾驶
Three~stone18 小时前
MySQL学习集--DDL
数据库·sql·学习