Encoder、Decoder和Encoder-Decoder

首先LLM有3种架构:Encoder-only、Decoder-only、encode-decode

整体情况

1、Encoder将可变长度的输入序列编码成一个固定长度的向量,比如在bert中应用的encoder,其实是输入和输出是等长的向量。通常情况下,encoder是用来提取特征的,因此更适合用于文本分类、情感分析等任务

2、Decoder将固定长度的向量解码成一个可变长度的输出序列,经常比如gpt中,就是用前面的n个tocken来预测下一个tocken,然后将真实的下一个tocken加入再预测下下个tocken,这里我们猜测能否将预测的tocken也加入,跟真实tocken一起预测呢?形成一种对抗。通常情况下,decoder更适合用于文本生成的工作。

3、Encoder-Decoder是传统的transformer结构,相比较decoder来说更加耗费内存,也更慢一些,它是用encoder先将可变长度编码成固定长度向量,再将固定长度向量解码成可变长度的过程。通常情况下,Encoder-Decoder更适合用于机器翻译这种需要输入特征,并且也要生成不定长序列的情况

参考: 大模型都是基于Transformer堆叠,采用Encoder或者Decoder堆叠,有什么区别?

相关推荐
和鲸社区8 小时前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
nju_spy2 天前
机器学习 - Kaggle项目实践(8)Spooky Author Identification 作者识别
人工智能·深度学习·机器学习·nlp·tf-idf·glove·南京大学
Go_Zezhou3 天前
在线性代数里聊聊word embedding
线性代数·算法·机器学习·nlp
冰糖猕猴桃4 天前
【AI - nlp】Transformer输入部分要点
人工智能·ai·nlp·transformer
大千AI助手4 天前
WMT2014:机器翻译领域的“奥林匹克盛会“
人工智能·深度学习·神经网络·自然语言处理·nlp·机器翻译·wmt2014
胖达不服输4 天前
「日拱一码」076 深度学习——自然语言处理NLP
人工智能·python·深度学习·自然语言处理·nlp
uncle_ll5 天前
李宏毅NLP-13-Vocoder
nlp·wavenet·语音模型·vocoder·waveglow
数据智能老司机6 天前
精通文本分析——自然语言处理导论
python·nlp
MisterZhang6666 天前
Java使用apache.commons.math3的DBSCAN实现自动聚类
java·人工智能·机器学习·自然语言处理·nlp·聚类
2501_906519678 天前
NLP:驱动人工智能迈向 “理解” 与 “对话” 的核心引擎
人工智能·nlp