论文笔记:Scaling Sentence Embeddings with Large Language Models

2024 ACL findings

1 intro

  • 直接利用LLMs生成句子嵌入面临两个主要挑战
    • LLMs作为自回归模型生成的是文本而非向量,因此需要将输出向量化
    • 如何有效地将上下文学习的能力融入句子嵌入中也是一个关键问题
  • 论文调查了当前LLMs在句子嵌入中的能力
    • 如何使用LLMs表示句子嵌入,并且提示工程是否有效?
      • 设计了一套prompt
    • 上下文学习是否能提升句子嵌入的质量?
      • ------>通过添加定义句子和相应的词作为示例进行上下文学习,性能可以进一步提高
    • 当模型参数超过数十亿时,参数规模是否依然有效?
      • 从数百万个参数到数十亿个参数的过渡,能够提高STS任务的表现。
      • 然而,继续扩大参数规模可能不会带来更多的改善。
        • 即使是上下文学习,66B的OPT在STS任务上仍然不如6.7B的OPT
      • 尽管如此,扩大模型规模能提高迁移任务的性能。
        • 具有数十亿参数的LLMs在没有任何微调的情况下,仍展现出强大的性能,甚至达到了最新的状态。
    • 将当前对比学习框架融入LLMs后能取得哪些改进?
      • 通过采用对比学习可以进一步提高性能。
      • 通过采用高效的微调技术,LLMs即使在有限计算资源下,也能够在STS任务上取得最先进的成果
  • 通过评估LLaMA和OPT在语义文本相似度(STS)任务和迁移任务上的表现,进行系统性研究

2 方法

2.1 使用LLMs表示句子

  • 提取最后一个token的隐藏向量作为句子嵌入
    • 把bert风格的prompt("This sentence: " [text] " means [MASK]")改成OPT风格的(This sentence: " [text] " means in one word: ")

2.2 使用高效微调的对比学习

  • 还利用对比学习来提升LLMs的句子嵌入能力,已被证明是一种高效的学习方法
    • 这里使用了有监督对比学习
      • 每个句子都有对应的正面句子和硬负面句子
      • l是sequence length

3 实验

相关推荐
胡耀超14 分钟前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
开-悟17 分钟前
嵌入式编程-使用AI查找BUG的启发
c语言·人工智能·嵌入式硬件·bug
Ailerx19 分钟前
YOLOv13震撼发布:超图增强引领目标检测新纪元
人工智能·yolo·目标检测
大咖分享课38 分钟前
开源模型与商用模型协同开发机制设计
人工智能·开源·ai模型
你不知道我是谁?1 小时前
AI 应用于进攻性安全
人工智能·安全
reddingtons1 小时前
Adobe高阶技巧与设计师创意思维的进阶指南
人工智能·adobe·illustrator·设计师·photoshop·创意设计·aftereffects
机器之心1 小时前
刚刚,Grok4跑分曝光:「人类最后考试」拿下45%,是Gemini 2.5两倍,但网友不信
人工智能
蹦蹦跳跳真可爱5892 小时前
Python----大模型(使用api接口调用大模型)
人工智能·python·microsoft·语言模型
小爷毛毛_卓寿杰2 小时前
突破政务文档理解瓶颈:基于多模态大模型的智能解析系统详解
人工智能·llm
Mr.Winter`2 小时前
障碍感知 | 基于3D激光雷达的三维膨胀栅格地图构建(附ROS C++仿真)
人工智能·机器人·自动驾驶·ros·具身智能·环境感知