Repetition Improves Language Model Embeddings论文阅读笔记

  • 文章提出了一种提高decoder-only LLM的embedding能力的方法,叫echo embeddings
  • last-token pooling(即直接选最后一个token作为句子的embedding)和直接mean pooling都不如文章提出的echo embedding,做法是把句子重复两次,然后取第二次的token是的mean pooling。mean pooling的缺点是太强调句子的前面部分,last-token pooling是太强调句子的后面部分,而重复两次后,第二次的句子的起始token也包含了完整句子的语义,从而不会出现直接mean pooling的问题。
  • 另外一点是,输入要添加一些instruction以鼓励第二次的句子编码包含完整句子信息,如下:
相关推荐
YRr YRr30 分钟前
如何使用 PyTorch 实现图像分类数据集的加载和处理
pytorch·深度学习·分类
Komorebi.py2 小时前
【Linux】-学习笔记05
linux·笔记·学习
亦枫Leonlew2 小时前
微积分复习笔记 Calculus Volume 1 - 6.5 Physical Applications
笔记·数学·微积分
HPC_fac130520678164 小时前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
冰帝海岸7 小时前
01-spring security认证笔记
java·笔记·spring
Guofu_Liao7 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
小二·8 小时前
java基础面试题笔记(基础篇)
java·笔记·python
wusong99911 小时前
mongoDB回顾笔记(一)
数据库·笔记·mongodb
猫爪笔记11 小时前
前端:HTML (学习笔记)【1】
前端·笔记·学习·html
Resurgence0311 小时前
【计组笔记】习题
笔记