Repetition Improves Language Model Embeddings论文阅读笔记

  • 文章提出了一种提高decoder-only LLM的embedding能力的方法,叫echo embeddings
  • last-token pooling(即直接选最后一个token作为句子的embedding)和直接mean pooling都不如文章提出的echo embedding,做法是把句子重复两次,然后取第二次的token是的mean pooling。mean pooling的缺点是太强调句子的前面部分,last-token pooling是太强调句子的后面部分,而重复两次后,第二次的句子的起始token也包含了完整句子的语义,从而不会出现直接mean pooling的问题。
  • 另外一点是,输入要添加一些instruction以鼓励第二次的句子编码包含完整句子信息,如下:
相关推荐
sz-lcw4 小时前
MySQL知识笔记
笔记·mysql·adb
古译汉书4 小时前
嵌入式铁头山羊STM32-各章节详细笔记-查阅传送门
数据结构·笔记·stm32·单片机·嵌入式硬件·个人开发
谷咕咕5 小时前
windows下python3,LLaMA-Factory部署以及微调大模型,ollama运行对话,开放api,java,springboot项目调用
java·windows·语言模型·llama
mCell5 小时前
长期以来我对 LLM 的误解
深度学习·llm·ollama
Ada's6 小时前
深度学习在自动驾驶上应用(二)
人工智能·深度学习·自动驾驶
张较瘦_7 小时前
[论文阅读] 人工智能 + 软件工程 | 从“人工扒日志”到“AI自动诊断”:LogCoT框架的3大核心创新
论文阅读·人工智能·软件工程
2301_800050997 小时前
DNS 服务器
linux·运维·笔记
汇能感知7 小时前
光谱相机的未来趋势
经验分享·笔记·科技
扫地的小何尚7 小时前
深度解析 CUDA-QX 0.4 加速 QEC 与求解器库
人工智能·语言模型·llm·gpu·量子计算·nvidia·cuda
张较瘦_7 小时前
[论文阅读] 人工智能 + 软件工程 | 35篇文献拆解!LLM如何重塑软件配置的生成、验证与运维
论文阅读·人工智能·软件工程