【机器学习】机器学习的基本分类-自监督学习-对比学习(Contrastive Learning)

对比学习是一种自监督学习方法,其目标是学习数据的表征(representation),使得在表征空间中,相似的样本距离更近,不相似的样本距离更远。通过设计对比损失函数(Contrastive Loss),模型能够有效捕捉数据的语义结构。


核心思想

对比学习的关键在于:

  1. 正样本(Positive Pair):具有相似语义或来源的样本对,例如同一图像的不同增强版本。
  2. 负样本(Negative Pair):语义不同或来源不同的样本对,例如不同图像。

通过对比正负样本对,模型能够学习区分不同数据点的特征。


方法流程

  1. 数据增强 :对一个样本 x 应用两种不同的增强方法,生成 ,作为正样本对。
  2. 特征提取 :通过编码器(如卷积神经网络)将数据映射到潜在特征空间,得到表征
  3. 对比损失:设计损失函数,使正样本对的表征距离最小化,负样本对的表征距离最大化。

对比学习的损失函数

1. 对比损失(Contrastive Loss)

对比损失鼓励正样本对的距离更小,负样本对的距离更大。

  • :样本对是否为正样本(1 表示正样本,0 表示负样本)。
  • :样本对在表征空间中的距离(通常使用欧氏距离)。
  • m:负样本对的最小距离(margin)。
2. InfoNCE 损失

用于最大化正样本对的相似性,同时将负样本对的相似性最小化。

  • :余弦相似度。
  • :温度参数,用于控制分布的平滑程度。
  • N:批量中样本数量。

典型方法

1. SimCLR

SimCLR 是对比学习的经典方法之一:

  • 核心思想:通过数据增强生成正样本对,并利用 InfoNCE 损失函数进行优化。
  • 数据增强:随机裁剪、颜色抖动、模糊等。
2. MoCo(Momentum Contrast)

通过维护一个动态更新的"字典",解决负样本数量不足的问题。

  • 核心思想:使用动量编码器(momentum encoder)生成更多的负样本。
3. BYOL(Bootstrap Your Own Latent)

无需显式的负样本,通过自回归(self-prediction)学习特征表征。

  • 核心思想:一个在线网络(Online Network)和一个目标网络(Target Network)协同训练。
4. SWAV(Swapping Assignments Between Views)

结合聚类和对比学习,利用图像的多视图表征。

  • 核心思想:通过在线分配伪标签,避免显式使用负样本。

示例代码:SimCLR

以下是一个实现 SimCLR 的示例代码:

python 复制代码
import tensorflow as tf
from tensorflow.keras import layers, models


# 图像增强函数
def augment_image(image):
    image = tf.image.random_flip_left_right(image)
    image = tf.image.random_crop(image, size=(32, 32, 3))
    image = tf.image.random_brightness(image, max_delta=0.5)
    return image


# 定义编码器
def create_encoder():
    base_model = tf.keras.applications.ResNet50(include_top=False, pooling='avg', input_shape=(32, 32, 3))
    return models.Model(inputs=base_model.input, outputs=base_model.output)


# SimCLR 模型
class SimCLRModel(tf.keras.Model):
    def __init__(self, encoder, projection_dim):
        super(SimCLRModel, self).__init__()
        self.encoder = encoder
        self.projection_head = tf.keras.Sequential([
            layers.Dense(256, activation='relu'),
            layers.Dense(projection_dim)
        ])

    def call(self, x):
        features = self.encoder(x)
        projections = self.projection_head(features)
        return tf.math.l2_normalize(projections, axis=1)


# 构建模型
encoder = create_encoder()
simclr_model = SimCLRModel(encoder, projection_dim=128)


# InfoNCE 损失
def info_nce_loss(features, temperature=0.5):
    batch_size = tf.shape(features)[0]
    labels = tf.range(batch_size)
    similarity_matrix = tf.matmul(features, features, transpose_b=True)
    logits = similarity_matrix / temperature
    return tf.reduce_mean(tf.keras.losses.sparse_categorical_crossentropy(labels, logits, from_logits=True))


# 训练
(X_train, _), _ = tf.keras.datasets.cifar10.load_data()
X_train = tf.image.resize(X_train, (32, 32)) / 255.0


def preprocess_data(image):
    return augment_image(image), augment_image(image)


train_data = tf.data.Dataset.from_tensor_slices(X_train)
train_data = train_data.map(preprocess_data).batch(32)

optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)

for epoch in range(10):
    for x1, x2 in train_data:
        with tf.GradientTape() as tape:
            z1 = simclr_model(x1)
            z2 = simclr_model(x2)
            loss = info_nce_loss(tf.concat([z1, z2], axis=0))
        gradients = tape.gradient(loss, simclr_model.trainable_variables)
        optimizer.apply_gradients(zip(gradients, simclr_model.trainable_variables))
    print(f"Epoch {epoch + 1}, Loss: {loss.numpy()}")

输出结果

Matlab 复制代码
Epoch 1, Loss: 3.465735912322998
Epoch 2, Loss: 3.465735912322998
Epoch 3, Loss: 3.465735912322998
Epoch 4, Loss: 3.465735912322998
Epoch 5, Loss: 3.465735912322998

对比学习的优势与挑战

优势
  1. 无需标签数据:适用于大规模无标签数据集。
  2. 高质量特征:学习的表征具有很强的迁移能力。
  3. 通用性强:适用于图像、文本、语音等多种模态。
挑战
  1. 负样本选择:负样本数量和质量对性能影响大。
  2. 计算成本:对比学习需要大量计算资源,尤其是在大规模数据上训练。
  3. 超参数调整:温度参数等对模型表现至关重要。
相关推荐
来自嵌入式的zyz4 分钟前
STM32项目实战/PID算法学习:编码电机闭环控制实现控速+位置控制、倒立摆实现
stm32·嵌入式硬件·学习·控制·pid
Cc00108525 分钟前
【AI学习笔记】用AI生成spring boot + redis
spring boot·笔记·学习·ai编程
繁花与尘埃9 分钟前
列表标签之有序标签(本文为个人学习笔记,内容整理自哔哩哔哩UP主【非学者勿扰】的公开课程。 > 所有知识点归属原作者,仅作非商业用途分享)
笔记·学习
lljss202012 分钟前
5. 神经网络的学习
人工智能·神经网络·学习
jie*13 分钟前
小杰深度学习(fourteen)——视觉-经典神经网络——ResNet
人工智能·python·深度学习·神经网络·机器学习·tensorflow·lstm
闲看云起14 分钟前
论文阅读《LIMA:Less Is More for Alignment》
论文阅读·人工智能·语言模型·自然语言处理
jie*17 分钟前
小杰深度学习(sixteen)——视觉-经典神经网络——MobileNetV2
人工智能·python·深度学习·神经网络·tensorflow·numpy·matplotlib
MYX_30917 分钟前
第五章 神经网络的优化
pytorch·深度学习·神经网络·学习
TGITCIC17 分钟前
有趣的机器学习-利用神经网络来模拟“古龙”写作风格的输出器
人工智能·深度学习·神经网络·ai大模型·模型训练·训练模型·手搓模型
whltaoin29 分钟前
AI 超级智能体全栈项目阶段五:RAG 四大流程详解、最佳实践与调优(基于 Spring AI 实现)
java·人工智能·spring·rag·springai