十四、自回归(AutoRegressive)和自编码(AutoEncoding)语言模型

参考自回归语言模型(AR)和自编码语言模型(AE)

1 自回归语言模型( AR)

**自回归语言模型(AR)**就是根据上文内容(或下文内容)预测下一个(或前一个)可能跟随的单词,就是常说的自左向右(或自右向左)的语言模型任务,即通过前 t - 1(或后 t - 1 ) 个 tokens 来预测当前时刻 t 的 token,代表的自回归语言模型有 ELMO 和 GPT。

1.1 优点

在处理生成类自然语言处理任务时,就是从左向右的,比如文本摘要,机器翻译等,自回归语言模型天然匹配这个过程。

1.2 缺点

该模型是单向的,只能利用上文或者下文的信息,不能同时利用上文和下文的信息。

2 自编码语言模型( AE**)**

自动编码器的逻辑过程是指原始 input(设为 x)经过加权(W 和 b)、映射(Sigmoid)之后得到 y,再对 y 反向加权映射回来成为 z。通过反复迭代训练(W 和 b),使得误差函数 L(H) 最小,即尽可能保证 z 近似于 x ,即完美重构了 x。那么可以说正向权重(W 和 b)是成功的,很好的学习了 input 中的关键特征。

自动编码器过程图如下:参考自动编码器

**降噪自编码器(Denoising AutoEncoder, DAE)**是指当采用无监督(不需要对训练样本进行标记)的方法分层预训练深度网络的权值时,为了学习到较鲁棒的特征,可以在数据的输入层引入随机噪声。

降噪自编码器过程图如下:

自编码语言模型 的名称来自于降噪自编码器(DAE),是通过上下文单词来预测被 Mask 的 token(这些被 Mask 掉的单词其实就是在输入端加入的噪音,是典型的 的思路),通俗地被称为"完形填空",代表的自编码语言模型有 Word2Vec(CBOW)和 BERT。

2.1 优点

泛化性强,无监督不需要数据标注,可以自然地融入上下文语义信息。

2.2 缺点

  • 适用于"完形填空"式的训练策略,不适用于生成式的问题;
  • 在预训练 Pre-Training 阶段,引入独立性假设,没有考虑预测 MASK 之间的相关性;
  • 输入中引入 Mask 这一特殊标记对原始 Token 进行替换,而微调 Fine-Tuning 阶段是没有 Mask 标记的,导致预训练阶段和微调阶段的数据不一致。
相关推荐
翰墨之道7 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
躺柒20 小时前
读数据分析思维通识课09读后总结与感想兼导读
数据挖掘·数据分析·总结·数据思维
一起学安全技术2 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
学无止境小袁同学2 天前
LangGraph 深度指南
语言模型·框架·agent·并发·上下文·langgraph·长期记忆
培培说证2 天前
大专商务数据分析与应用可以报考哪些职业证书?
人工智能·数据挖掘·数据分析
一起学安全技术2 天前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json
躺柒3 天前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
屿华AI3 天前
AUTOSAR 实战-诊断工具 | 基于 YAML 的诊断测试用例工程:轮询、断言与回归
数据挖掘·回归·测试用例
翰墨之道4 天前
黄仁勋回归传闻升温:英伟达领导层风波牵动AI产业
人工智能·数据挖掘·回归
电科_银尘4 天前
【大模型算法与工程 05】分类、回归与排序指标:怎样评价一个模型
算法·分类·回归