NLP模型的训练主要分成两步：
1.先进行通用任务的训练；无监督的样本是无穷无尽的；
这里列举两种：MLM和NSP,NSP由于在某些论文中被证明是无效的，所以用的少；
MLM:
接下来会在特定任务上进行finetune==>supervised finetuning (SFT)
相关推荐
小憩-1 小时前
【机器学习】吴恩达机器学习笔记却道天凉_好个秋1 小时前
深度学习（二）：神经元与神经网络UQI-LIUWJ1 小时前
unsloth笔记：运行&微调 gemmaTHMAIL1 小时前
深度学习从入门到精通 - 生成对抗网络(GAN)实战：创造逼真图像的魔法艺术却道天凉_好个秋1 小时前
计算机视觉（八）：开运算和闭运算无风听海2 小时前
神经网络之深入理解偏置JoinApper2 小时前
目标检测系列-Yolov5下载及运行北京地铁1号线2 小时前
GPT（Generative Pre-trained Transformer）模型架构与损失函数介绍飞哥数智坊2 小时前
即梦4.0实测：我真想对PS说“拜拜”了！fantasy_arch2 小时前
9.3深度循环神经网络