- 文章提出了一种提高decoder-only LLM的embedding能力的方法,叫echo embeddings
- last-token pooling(即直接选最后一个token作为句子的embedding)和直接mean pooling都不如文章提出的echo embedding,做法是把句子重复两次,然后取第二次的token是的mean pooling。mean pooling的缺点是太强调句子的前面部分,last-token pooling是太强调句子的后面部分,而重复两次后,第二次的句子的起始token也包含了完整句子的语义,从而不会出现直接mean pooling的问题。
- 另外一点是,输入要添加一些instruction以鼓励第二次的句子编码包含完整句子信息,如下:
Repetition Improves Language Model Embeddings论文阅读笔记
ssf-yasuo2024-06-22 17:58
相关推荐
喵~来学编程啦2 分钟前
【论文精读】LPT: Long-tailed prompt tuning for image classification密码小丑1 小时前
11月4日(内网横向移动(一))鸭鸭梨吖1 小时前
产品经理笔记-Nemophilist-2 小时前
机器学习与深度学习-1-线性回归从零开始实现齐 飞2 小时前
MongoDB笔记01-概念与安装丫头,冲鸭!!!2 小时前
B树(B-Tree)和B+树(B+ Tree)听忆.3 小时前
手机屏幕上进行OCR识别方案Selina K3 小时前
shell脚本知识点记录待4 小时前
开源竞争-数据驱动成长-11/05-大专生的思考霍格沃兹测试开发学社测试人社区4 小时前
软件测试学习笔记丨Flask操作数据库-数据库和表的管理