[论文阅读]SimCSE: Simple Contrastive Learning of Sentence Embeddings

SimCSE:句子嵌入的简单对比学习

SimCSE: Simple Contrastive Learning of Sentence Embeddings

http://arxiv.org/abs/2104.08821

EMNLP 2021

文章介绍了SimCSE,这是一种简单的对比学习框架,采用了自监督来提升模型的句子表示能力

而自监督最关键的问题是构建正负例

对于无监督来说,作者使用了Droupout来构建正例,将一个样本经过encoder两次,就得到了一个正例对,负例则是同一个batch里的其它句子。

对于有监督则采用了SNLI数据集天然的结构,对立类别的是负例,另外两个类别的就是正例

对比学习旨在通过将语义上接近的邻居拉在一起并推开非邻居来学习有效的表示

图像上的对比学习方案:对同一个图像进行两次随机转换(例如裁剪、翻转、扭曲和旋转等)。文本上采用类似的方案:单词删除、重排序和替换等增强技术,但是由于文本的离散型,文本数据增强本质上是很困难的,简单地在中间表示上使用标准dropout优于这些离散运算符。

无监督SImCSE:

使用droupout来对文本增加噪音,从而构造一个正样本对,而负样本对则是在batch中选取的其它句子

有监督SimCSE:

这一部分的句子对直接采用了NLI数据集的数据,因为其中有天然的正负例句子对。

详细请参考这篇文章:
无监督对比学习SIMCSE理解和中文实验操作-CSDN博客

相关推荐
张较瘦_17 小时前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
北京地铁1号线1 天前
GPT-2论文阅读:Language Models are Unsupervised Multitask Learners
论文阅读·gpt·语言模型
张较瘦_1 天前
[论文阅读] 人工智能 + 软件工程 | 软件架构中自然问题主动辅助研究:从挑战到解决方案
论文阅读·人工智能·软件工程
有Li2 天前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
张较瘦_2 天前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
selia10782 天前
[论文阅读] Neural Architecture Search: Insights from 1000 Papers
论文阅读
寻丶幽风2 天前
论文阅读笔记——NoPoSplat
论文阅读·笔记·三维重建·3dgs·相机位姿·dustr
寻丶幽风2 天前
论文阅读笔记——VGGT: Visual Geometry Grounded Transformer
论文阅读·笔记·transformer·三维重建·3dgs·vggt
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
非英杰不图3 天前
论文阅读:Align and Prompt (ALPRO 2021.12)
论文阅读·prompt