论文笔记:Scaling Sentence Embeddings with Large Language Models

2024 ACL findings

1 intro

  • 直接利用LLMs生成句子嵌入面临两个主要挑战
    • LLMs作为自回归模型生成的是文本而非向量,因此需要将输出向量化
    • 如何有效地将上下文学习的能力融入句子嵌入中也是一个关键问题
  • 论文调查了当前LLMs在句子嵌入中的能力
    • 如何使用LLMs表示句子嵌入,并且提示工程是否有效?
      • 设计了一套prompt
    • 上下文学习是否能提升句子嵌入的质量?
      • ------>通过添加定义句子和相应的词作为示例进行上下文学习,性能可以进一步提高
    • 当模型参数超过数十亿时,参数规模是否依然有效?
      • 从数百万个参数到数十亿个参数的过渡,能够提高STS任务的表现。
      • 然而,继续扩大参数规模可能不会带来更多的改善。
        • 即使是上下文学习,66B的OPT在STS任务上仍然不如6.7B的OPT
      • 尽管如此,扩大模型规模能提高迁移任务的性能。
        • 具有数十亿参数的LLMs在没有任何微调的情况下,仍展现出强大的性能,甚至达到了最新的状态。
    • 将当前对比学习框架融入LLMs后能取得哪些改进?
      • 通过采用对比学习可以进一步提高性能。
      • 通过采用高效的微调技术,LLMs即使在有限计算资源下,也能够在STS任务上取得最先进的成果
  • 通过评估LLaMA和OPT在语义文本相似度(STS)任务和迁移任务上的表现,进行系统性研究

2 方法

2.1 使用LLMs表示句子

  • 提取最后一个token的隐藏向量作为句子嵌入
    • 把bert风格的prompt("This sentence: " [text] " means [MASK]")改成OPT风格的(This sentence: " [text] " means in one word: ")

2.2 使用高效微调的对比学习

  • 还利用对比学习来提升LLMs的句子嵌入能力,已被证明是一种高效的学习方法
    • 这里使用了有监督对比学习
      • 每个句子都有对应的正面句子和硬负面句子
      • l是sequence length

3 实验

相关推荐
机器之心22 分钟前
P图手残党有救了,豆包·图像编辑模型3.0上线,一个对话框搞定「增删改替」
人工智能
开开心心就好29 分钟前
Excel批量加密工具,一键保护多个文件
java·javascript·人工智能·安全·excel·音视频·语音识别
右子41 分钟前
Claude Code:介绍与使用教程
前端·人工智能·后端
聚客AI1 小时前
LangGraph革命:用动态断点破解AI Agent高危操作困局
人工智能·llm·agent
yuzhiboyouye1 小时前
前端开发为什么没有后端开发那么清除业务
人工智能
mortimer1 小时前
PyInstaller打包踩坑记:从静默崩溃到柳暗花明
人工智能·python·github
luofeiju2 小时前
深入理解图像插值:从原理到应用
图像处理·人工智能·opencv
isNotNullX2 小时前
主数据管理系统能代替数据中台吗?
大数据·数据仓库·人工智能·数据分析·etl
lingling0092 小时前
艾利特机器人:光伏机器人如何重塑清洁能源制造新格局
大数据·人工智能·算法
新讯网2 小时前
智合新材携先进陶瓷材料亮相2025西安先进制造及国防科技产业博览会
大数据·人工智能·制造