面试-Encoder-Decoder预训练思路

在 Encoder-Decoder 结构模型中,通常采用 "加噪自编码" 的预训练思路: 先对输入序列进行一定形式的 "噪声/扰动" 处理,再让模型根据这份 "带噪声的序列" 来 重构 或 还原 出原始序列。具体而言,常见做法主要有以下几种:

1 Span Corruption (文本段落损坏/填空)

这是 T5 模型最经典的做法。它不是一个字一个字地抹去,而是随机挖掉一小段话。
核心逻辑: 把原文中的一段或几段连续文字替换成特殊的符号(如 MASK 或 Sentinel)。
训练目的: 让模型学会根据上下文联想出缺失的长片段信息。
例子:

  • 原文: "北京是中国的首都,它是一座拥有三千多年历史的古都。"
  • Encoder 输入(加噪): "北京是 MASK_1 首都,它是一座 MASK_2 的古都。"
  • Decoder 输出(目标): "MASK_1 中国的 MASK_2 拥有三千多年历史。"

2 Denoising Auto-Encoder (去噪自编码)

这在 BART 模型中非常常见。它对文本的破坏方式更"暴力"、更多样,目的是让模型具备极强的纠错和重组能力。
常见加噪操作:

  • 词序打乱: 把句子里的词随机换位置。
  • 随机删除: 随机删掉一些词。
  • 词替换: 把某个词换成一个完全无关的词。

例子:

  • 原文: "机器学习是人工智能的一个重要分支。"
  • Encoder 输入(乱序+删除): "重要 机器学习 人工智能 分支。"
  • Decoder 输出(还原): "机器学习是人工智能的一个重要分支。"

3 多任务多目标掩码 (Unified Text-to-Text)

这是 T5 和 Flan-T5 能够处理各种任务的秘诀。它将所有 NLP 任务都统一看作是 "文字到文字" 的变换。
核心逻辑: 在输入序列前加上一个指令(Prompt),告诉模型现在要做什么任务。
例子:

  • 翻译任务:

    输入:"翻译成英文:我爱学习。"

    输出:"I love learning."

  • 摘要任务:

    输入:"总结:一长段关于气候变化的报道"

    输出:"全球气候变暖趋势加剧。"

  • 问答任务:

    输入:"问题:中国的首都在哪里?"

    输出:"北京。"

4 基于 Encoder-Decoder 架构阐述为什么要这样做的细节

1. Encoder-Decoder 架构带来的问题:我们需要打破恒等映射

2. Encoder 的职责:学习 "鲁棒" 的特征表示

3. Decoder 的职责:学习 "自回归生成" 的逻辑

根据 Encoder 提供的背景信息,一个词接一个词地生成结果。

4. Decoder 如何根据 Encoder 提供的背景信息,一个词接一个词地生成结果

需要在二者之间建立关键纽带,交叉注意力 (Cross-Attention) 的训练。

Transformer的概念学习:
https://blog.csdn.net/weixin_57128596/article/details/154795289?spm=1001.2014.3001.5501

相关推荐
吴佳浩5 分钟前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_094 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区5 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔5 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区5 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1236 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI6 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健6 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV7 小时前
Google 重返第一梯队
人工智能·google·aigc