大模型基础——大模型范式

大模型背后的范式

整个预训练语言模型的使用范式:

对于预训练模型,最核心的要素是从无标注的数据中去学习,通过自监督的一些任务去做预训练,得到丰富的知识。在具体的应用中,会引入一些任务相关的数据,去调整模型;相当于在这个已经预训练训练好的模型上(获得通用知识),引入任务相关数据,对具体的任务去进行一些适配,最终得到一个解决具体任务额模型。

为什么采用上面"预训练+微调"的范式?

最早追溯到transfer learning 迁移学习,某种程度上,预训练模型就是在做一个transfer learning

相关推荐
sniper_fandc6 分钟前
深度学习基础—Seq2Seq模型
人工智能·深度学习
goomind10 分钟前
深度学习模型评价指标介绍
人工智能·python·深度学习·计算机视觉
youcans_10 分钟前
【微软报告:多模态基础模型】(2)视觉理解
人工智能·计算机视觉·大语言模型·多模态·视觉理解
棱角~~26 分钟前
10款PDF合并工具讲解与推荐!!!
人工智能·经验分享·其他·pdf·学习方法
晚点吧33 分钟前
视频横屏转竖屏播放-使用人脸识别+目标跟踪实现
人工智能·目标跟踪·音视频
风走茶未凉1 小时前
目标检测(object detection)
人工智能·目标检测·目标跟踪
这个男人是小帅3 小时前
【GAT】 代码详解 (1) 运行方法【pytorch】可运行版本
人工智能·pytorch·python·深度学习·分类
__基本操作__3 小时前
边缘提取函数 [OPENCV--2]
人工智能·opencv·计算机视觉
Doctor老王3 小时前
TR3:Pytorch复现Transformer
人工智能·pytorch·transformer
热爱生活的五柒3 小时前
pytorch中数据和模型都要部署在cuda上面
人工智能·pytorch·深度学习