Encoder、Decoder和Encoder-Decoder

首先LLM有3种架构:Encoder-only、Decoder-only、encode-decode

整体情况

1、Encoder将可变长度的输入序列编码成一个固定长度的向量,比如在bert中应用的encoder,其实是输入和输出是等长的向量。通常情况下,encoder是用来提取特征的,因此更适合用于文本分类、情感分析等任务

2、Decoder将固定长度的向量解码成一个可变长度的输出序列,经常比如gpt中,就是用前面的n个tocken来预测下一个tocken,然后将真实的下一个tocken加入再预测下下个tocken,这里我们猜测能否将预测的tocken也加入,跟真实tocken一起预测呢?形成一种对抗。通常情况下,decoder更适合用于文本生成的工作。

3、Encoder-Decoder是传统的transformer结构,相比较decoder来说更加耗费内存,也更慢一些,它是用encoder先将可变长度编码成固定长度向量,再将固定长度向量解码成可变长度的过程。通常情况下,Encoder-Decoder更适合用于机器翻译这种需要输入特征,并且也要生成不定长序列的情况

参考: 大模型都是基于Transformer堆叠,采用Encoder或者Decoder堆叠,有什么区别?

相关推荐
kunge201313 天前
自然语言处理基础-迈向NLP领域的第1步台阶
nlp
羊小猪~~14 天前
【NLP入门系列三】NLP文本嵌入(以Embedding和EmbeddingBag为例)
人工智能·深度学习·神经网络·自然语言处理·大模型·nlp·embedding
爱学习的书文14 天前
Datawhlale_快乐学习大模型_task02_NLP 基础概念
大模型·nlp·datawhale打卡
我想说一句14 天前
在Colab玩转大模型:一天速成NLP魔法师!
前端·nlp·trae
AI-星辰18 天前
始理解NLP:我的第一章学习心得
人工智能·大模型·llm·nlp
故事挺秃然19 天前
中文分词:机械分词算法详解与实践总结
算法·nlp
love530love19 天前
是否需要预先安装 CUDA Toolkit?——按使用场景分级推荐及进阶说明
linux·运维·前端·人工智能·windows·后端·nlp
故事挺秃然21 天前
MCP(模型上下文协议)——AI生态的“万能插座”
nlp·mcp
zsq21 天前
【论文阅读笔记】HaDes幻觉检测benchmark
论文阅读·笔记·nlp·大语言模型幻觉
故事挺秃然23 天前
TF-IDF算法的代码实践应用——关键词提取、文本分类、信息检索
nlp