Encoder、Decoder和Encoder-Decoder

首先LLM有3种架构:Encoder-only、Decoder-only、encode-decode

整体情况

1、Encoder将可变长度的输入序列编码成一个固定长度的向量,比如在bert中应用的encoder,其实是输入和输出是等长的向量。通常情况下,encoder是用来提取特征的,因此更适合用于文本分类、情感分析等任务

2、Decoder将固定长度的向量解码成一个可变长度的输出序列,经常比如gpt中,就是用前面的n个tocken来预测下一个tocken,然后将真实的下一个tocken加入再预测下下个tocken,这里我们猜测能否将预测的tocken也加入,跟真实tocken一起预测呢?形成一种对抗。通常情况下,decoder更适合用于文本生成的工作。

3、Encoder-Decoder是传统的transformer结构,相比较decoder来说更加耗费内存,也更慢一些,它是用encoder先将可变长度编码成固定长度向量,再将固定长度向量解码成可变长度的过程。通常情况下,Encoder-Decoder更适合用于机器翻译这种需要输入特征,并且也要生成不定长序列的情况

参考: 大模型都是基于Transformer堆叠,采用Encoder或者Decoder堆叠,有什么区别?

相关推荐
反方向的钟儿4 天前
人工智能入门(2)
大数据·人工智能·学习·自然语言处理·nlp·vr
冲上云霄的Jayden5 天前
PaddleNLP UIE 通过OCR识别银行回执信息
nlp·ocr·paddle·paddlenlp·信息提取·uie·银行回执
百锦再5 天前
DeepSeek与GPT的全方位对比及其为编程工作带来的巨大变革
人工智能·python·gpt·nlp·deepseek
lihuayong7 天前
自然语言处理NLP-文本预处理
人工智能·自然语言处理·nlp·分词·文本预处理
一支王同学11 天前
使用LLama-Factory的简易教程(Llama3微调案例+详细步骤)
nlp·大语言模型·llama
代码骑士11 天前
LiteratureReading:[2023] GPT-4: Technical Report
nlp
闲人编程14 天前
强化学习:DQN玩转CartPole游戏
人工智能·深度学习·nlp
勤奋的小笼包14 天前
【论文阅读】CARES:医学视觉语言模型可信度的综合基准
论文阅读·人工智能·学习·语言模型·自然语言处理·chatgpt·nlp
勤奋的小笼包15 天前
【论文阅读】MMed-RAG:让多模态大模型告别“事实性幻觉”
论文阅读·人工智能·深度学习·语言模型·自然语言处理·chatgpt·nlp