大模型-模型预训练-预训练任务

一、简介

1、预训练任务目的

设计合适的自监督训练任务,使得模型能够从海量五标注数据中学习到广泛的语义知识与世界知识

2、常见预训练任务
  • 语言建模
  • 去噪自编码
  • 混合去噪器

二、语言建模

1、特点
  • 被目前绝大多数模型采用
  • 核心在于预测下一个词元
  • 经常被用于训练基于解码器架构的大模型
  • 是一种多任务学习过程,可同时学习到生成时用到的相关知识与能力
2、任务内容

基于前序内容生成或预测后续内容

3、变种
  • 前缀语言建模
    • 特点:主要应用与采用前缀解码器架构的大模型
    • 缺点:由于总损失仅计算后缀词元,性能稍逊于使用标准语言建模任务进行预训练的模型
  • 中间任务填充
    • 任务内容:训练模型对于中间部分文本的预测生成能力
    • 特点:
      • 常用于作为标准语言建模任务的辅助任务
      • 通常用于训练代码预训练模型,提升模型代码补全能力
4、应用情况
  • 应用范围:被绝大部分大模型采用
  • 代表模型:GPT

三、去噪自编码

1、特点
  • 实现比语言建模复杂,需要设定额外的优化策略,如词元替换策略、替换片段长度、替换词元比例
2、任务内容

输入文本经过一系列替换或删除,形成损坏文本,模型任务目标是根据损坏文本恢复出被替换或删除的片段

3、应用情况
  • 应用范围:比语言建模应用少
  • 代表模型:BERT、T5等模型

四、混合去噪器

1、任务内容

又称UL2损失,通过将语言建模和去噪自编码的目标均视为不同的去噪任务,对于预训练任务进行了统一建模

2、组成
  • S-去噪器
  • R-去噪器
  • X-去噪器
3、特点
  • S-去噪器与前缀语言建模目标相同
  • R-去噪器、X-去噪器与去噪自编码目标相似,二者在被掩盖(删除)片段的跨度以及损坏比例上有区别,R-去噪器掩盖比例约为15%,每个被掩盖片段包含3-5个词元;X-去噪器掩盖比例约为50%,每个被掩盖片段包含12个词元以上
4、如何选择去噪器

在句子开头设置特定词元(比如R、X、S)标记去噪器类型

5、应用情况
  • 应用范围:较小
  • 代表模型:UL2、PaLM2等
相关推荐
Frag0ut2 小时前
Chrome 2026浏览器AI助手全攻略:智能问答与内容创作实战进阶指南
人工智能·chrome·ai助手·本地大模型·浏览器ai·网页智能总结·侧边栏ai
如夏倾城3 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Dawson Zhu3 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
水如烟3 小时前
孤能子视角:通用智能 vs 分工协同智能群系统–––集中结晶 vs 分布式结晶
人工智能
罗西的思考4 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz4 小时前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡4 小时前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
鲁邦通物联网4 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯
静水深码5 小时前
文生图提示词的工程师写法:把玄学话术拆成结构化模板
人工智能·后端·代码规范