NLP模型的训练主要分成两步：
1.先进行通用任务的训练；无监督的样本是无穷无尽的；
这里列举两种：MLM和NSP,NSP由于在某些论文中被证明是无效的，所以用的少；
MLM:
接下来会在特定任务上进行finetune==>supervised finetuning (SFT)
相关推荐
Kai HVZ1 分钟前
《OpenCV计算机视觉》--介绍及基础操作biter00886 分钟前
opencv(15) OpenCV背景减除器（Background Subtractors）学习吃个糖糖12 分钟前
35 Opencv 亚像素角点检测qq_5290252930 分钟前
Torch.gatherIT古董1 小时前
【漫话机器学习系列】017.大O算法（Big-O Notation）凯哥是个大帅比1 小时前
人工智能ACA（五）--深度学习基础m0_748232921 小时前
DALL-M：基于大语言模型的上下文感知临床数据增强方法 ，补充szxinmai主板定制专家1 小时前
【国产NI替代】基于FPGA的32通道（24bits）高精度终端采集核心板卡海棠AI实验室2 小时前
AI的进阶之路：从机器学习到深度学习的演变（三）