大模型面试题:prefixDecodercausalDecoder和EncoderDecodder的区别是什么

我整理好的1000+面试题,请看
大模型面试题总结-CSDN博客

或者

https://gitee.com/lilitom/ai_interview_questions/blob/master/README.md

最好将URL复制到浏览器中打开,不然可能无法直接打开


好了,我们今天针对上面的问题,

prefixDecoder、causalDecoder和Encoder-Decoder的区别是什么?

prefix Decoder、causal Decoder 和 Encoder-Decoder 的区别在于 attention mask 不同:

Encoder-Decoder

  • 介绍:输入双向注意力,输出单向注意力

  • 代表模型:T5、Flan-T5、BART

  • 特点 :

    • 在输入上采用双向注意力,对问题的编码理解更充分

    • 适用任务:在偏理解的 NLP 任务上效果好

    • 缺点:在长文本生成任务上效果差,训练效率低

causal Decoder

  • 特点 :
    • 自回归语言模型,预训练和下游应用是完全一致的,严格遵守只有后面的 token 才能看到前面的 token 的规则

    • 适用任务:文本生成任务效果好

    • 优点:训练效率高,zero-shot 能力更强,具有涌现能力

prefix Decoder

  • 特点:prefix 部分的 token 互相能看到,是 causal Decoder 和 Encoder-Decoder 的折中

  • 缺点:训练效率低

相关推荐
7177776 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn6 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健7 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道7 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9967 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队8 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术8 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream9 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴10 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
火山引擎开发者社区10 小时前
豆包工作,3 个月,800 万,20 亿
人工智能