- 这是NVIDIA的一篇论文,LLM通常使用的是GPT的decoder范式作为一个生成模型,文章探讨如何利用这样的decoder生成模型来实现BERT这样的encoder的功能,即提取有效的embedding。
- 现有的方法提取embedding的方式无非是 1 mean pooling; 2 the last token embedding。前者是encoder-like的model用得多,后者是decoder-like的model用得多。然而这两者都有问题。
- 文章提出的方法是,decoder模型正常是会通过循环的方式生成一段序列嘛,最后一个time step的一层的Q就是 l × d l\times d l×d的, l l l个token每个 d d d维,然后我预定义一个latent array,是 r × d r\times d r×d的,它作为 r r r个token的K和V,用来和Q算attention(实际上做的是多头注意力,这里简单起见按单头注意力讲解),得到 O O O是 l × d l\times d l×d的,再接MLP GELU MLP,再过一个mean pooling,得到最终的embedding。
- 文章一边说train from scratch,又说用LoRA,就很奇怪。
- 另外呢,文章把mask去掉了,之前的GPT,每个token做注意力只能看到前面的token,但文章发现直接全都看得到在提取embedding方面效果更好:
- 文章试验了bidirect attention/causal attention的对比,EOS Mean latent-attention self-attention的对比:
NV-Embed论文阅读笔记
ssf-yasuo2024-06-22 17:55
相关推荐
oneouto1 小时前
selenium学习笔记(二)学术头条1 小时前
清华、智谱团队:探索 RLHF 的 scaling lawssealaugh321 小时前
aws(学习笔记第十九课) 使用ECS和Fargate进行容器开发18号房客1 小时前
一个简单的机器学习实战例程,使用Scikit-Learn库来完成一个常见的分类任务——**鸢尾花数据集(Iris Dataset)**的分类Ven%1 小时前
如何在防火墙上指定ip访问服务器上任何端口呢IT猿手2 小时前
最新高性能多目标优化算法:多目标麋鹿优化算法(MOEHO)求解TP1-TP10及工程应用---盘式制动器设计,提供完整MATLAB代码强哥之神2 小时前
Nexa AI发布OmniAudio-2.6B:一款快速的音频语言模型,专为边缘部署设计18号房客2 小时前
一个简单的深度学习模型例程,使用Keras(基于TensorFlow)构建一个卷积神经网络(CNN)来分类MNIST手写数字数据集。神秘的土鸡2 小时前
神经网络图像隐写术:用AI隐藏信息的艺术数据分析能量站2 小时前
神经网络-LeNet