对比学习

ICMR2024 | 当对比学习遇上知识蒸馏：轻量超分模型压缩新框架近年来，得益于深度学习的发展，单幅图像超分辨率（Single Image Super-Resolution, SISR）技术得到了快速的进步。然而，为了取得更好的性能,大多数基于卷积神经网络（Convolutional Neural Networks, CNNs）的方法盲目地加深网络深度，导致模型参数量大，不可避免地带巨大的计算开销和内存消耗，限制了其在资源受限设备上的应用。

SCMPPI：监督式对比多模态框架用于预测蛋白质间相互作用1、作者提出SCMPPI，一种监督式对比多模态框架，将蛋白质的序列数据和互作网络的图结构数据整合起来，用于预测蛋白质间的相互作用。

【表格+影像】两全其美：多模态对比学习结合表格和成像数据1、提出了首个利用图像和表格数据训练单模编码器的自监督对比学习框架。2、有开源代码：https : / / github . com / paulhager / MMCL - Tabular Imaging。这项工作算是在表格+影像融合领域最经典的工作了，后面很多模型或者方法，都把这篇论文作为对比实验，例如STiL-model、TIP等等。

北京地铁1号线

8.2 对比学习的损失函数目录题目解答1. 基于距离的对比损失1.1 对比损失（Contrastive Loss）1.2 三元组损失（Triplet Loss）

北京地铁1号线

8.1 对比学习概述目录1. 一个直观的类比：认识“蒙娜丽莎”2. 对比学习的核心原理3. 一个经典的对比学习框架：SimCLR

互信息和InfoNCE的关系简单来说，InfoNCE 是互信息的一个可计算的下界估计器。通过优化 InfoNCE 损失，我们实际上是在最大化互信息的一个紧下界。

对比学习综合参考视频链接：https://www.bilibili.com/video/BV19S4y1M7hm/?spm_id_from=333.1387.favlist.content.click&vd_source=cdb0bc0dda1dccea0b8dc91485ef3e74 论文链接在：https://github.com/mli/paper-reading/

推荐大模型系列-NoteLLM-2: Multimodal Large Representation Models for Recommendation（二）目录一、方法论模板说明视觉笔记表示多模态笔记表示后期融合关键点编辑二、实验2.1 性能评估2.2 增强型MLRM的显著性分数分析

泡泡茶壶_ovo

PixCLIP：通过任意粒度像素-文本对齐学习实现细粒度视觉语言理解研究方向：Image Captioning论文全名：《PixCLIP: Achieving Fine-grained Visual Language Understanding via Any-granularity Pixel-Text Alignment Learning》

推荐大模型系列-NoteLLM: A Retrievable Large Language Model for Note Recommendation（一）目录一、摘要二、介绍三、相关工作I2I 推荐技术概述内容驱动的I2I推荐大语言模型（LLMs）的应用潜力

推荐大模型系列-NoteLLM: A Retrievable Large Language Model for Note Recommendation（二）目录一、方法论1.1 NoteLLM框架1.2 笔记压缩提示编辑特殊令牌与占位符说明分类生成的具体内容定义

推荐大模型系列-NoteLLM: A Retrievable Large Language Model for Note Recommendation（三）目录一、实验1.1 数据集与实验设置1.2 离线性能评估1.3 不同曝光量笔记的效果1.4 消融实验1.5 CSFT模块中数据多样性的影响

关键词解释：对比学习（Contrastive Learning）摘要：对比学习是一种自监督表示学习范式，其核心思想是通过拉近语义相似样本（正样本对）、推开语义不同样本（负样本对），使模型学到具有判别性的特征表示。它无需人工标签，仅利用数据自身的结构或增强策略构建监督信号，在计算机视觉、自然语言处理和多模态学习中取得了突破性进展。

【multi-model】DINOv2（包含iBOT）& 问答一、DINOv2 1、数据集： LVD-142M数据集，由公开数据集和网络数据集组成，数据集经过PCA哈希去重，NSFW过滤和人脸模糊，整合汇总之后生成1.2亿的数据集； 2、DINOv2的去重方式叫copy detection pipeline（SSCD） ①自去重：去除数据内部冗余第一步：特征提取，提取图片的特征向量第二步：计算余弦相似度，计算每张图片最相近的k=64张图片第三步：只保留相似度大于0.6的近邻对第四步：并查集算法将相似数据连接在一起，形成一个连通分量，每个连通分量只保留一张图片

【multi-model】moco系列&SimCLR&BEiTmoco和SimCLR都属于对比学习，对比学习是属于无监督学习，不需要手动标注label，通过对原图像进行增强，产生新的图像，和其他图像做对比来计算loss，使同一张图片增强之后的两者之间的loss更近，不同图片之间的loss更远；一、moco 关键词：内存银行、动量更新、队列流程结构：注意： 1、x_q和x_k是x0经过的不同的图像增强 2、Encoder和Momentum encoder的结构是一样的，为了保证编码的维度一致 3、Momentum encoder更新公式：θ_k = m*θ_k

九章云极AladdinEdu

论文分享 |重新思考3D分割：Unified-Lift——端到端的高斯泼溅场景分割新范式引言：三维世界的“像素级”理解之梦在虚拟现实、增强现实、机器人导航和数字孪生等前沿领域，让机器像人类一样理解和交互三维环境是核心挑战之一。其中，3D场景分割——即为三维场景中的每一个点（或基本单元）赋予一个语义标签并区分出不同的物体实例——是实现深度场景理解的关键技术。想象一下，在AR应用中，你可以直接“拿起”虚拟桌子上的一个真实杯子；或者在机器人视野里，它能清晰地知道哪个是门、哪个是障碍物，并精确规划路径。这一切，都离不开精准、高效的3D分割技术。

EEG-CLIP：通过自然语言描述学习脑电图表征用于脑电图（EEG）解码的深度网络通常仅针对单一任务（如病理或年龄解码）进行训练。本研究提出一种任务无关的通用方法：训练深度网络将临床EEG记录与其对应的文本医疗报告进行匹配。该方法借鉴计算机视觉领域对齐图像与文本描述的技术，通过文本类别提示实现零样本解码。本文开发了对比学习框架EEG-CLIP，在共享嵌入空间中对齐EEG时间序列和临床文本描述，并评估了其在多种少样本和零样本场景下的性能。结果表明，EEG-CLIP能有效对齐文本与EEG表征，为学习通用EEG表征提供了新思路，可通过零样本解码或使用更少训练

【论文阅读】Contrastive Clustering Learning for Multi-Behavior Recommendation论文地址：Contrastive Clustering Learning for Multi-Behavior Recommendation | ACM Transactions on Information Systems

对比学习（Contrastive Learning）对比学习（Contrastive Learning）是一种自监督学习（Self-Supervised Learning）方法，其核心思想是通过相似样本靠近，不同样本远离的方式学习数据的潜在表示。它广泛用于无标签数据的特征提取，特别是在计算机视觉、自然语言处理和图数据分析等任务中。

对比学习损失函数 - InfoNCE对比学习中的InfoNCE损失函数是自监督学习领域的重要进展，它通过最大化正样本对之间的相似度并最小化负样本对的相似度，有效地引导模型学习到数据的本质特征。InfoNCE不仅提高了表示学习的质量，还为下游任务如分类、聚类等提供了强大的基础。