NLP模型的训练主要分成两步：
1.先进行通用任务的训练；无监督的样本是无穷无尽的；
这里列举两种：MLM和NSP,NSP由于在某些论文中被证明是无效的，所以用的少；
MLM:
接下来会在特定任务上进行finetune==>supervised finetuning (SFT)
相关推荐
杜子不疼.36 分钟前
【Linux】进程的初步探险：基本概念与基本操作可触的未来，发芽的智生1 小时前
触摸未来2025.10.04：当神经网络拥有了内在记忆……PKNLP1 小时前
深度学习之神经网络2(Neural Network)格林威1 小时前
常规的变焦镜头有哪些类型？能做什么？心无旁骛~2 小时前
【OpenArm|Control】openarm机械臂ROS2仿真控制程序员陆业聪3 小时前
AI智能体的未来：从语言泛化到交互革命小小程序媛(*^▽^*)3 小时前
第十二届全国社会媒体处理大会笔记却道天凉_好个秋3 小时前
OpenCV(二)：加载图片音视频牛哥3 小时前
系统级超低延迟音视频直播模块时代：如何构建可控、可扩展的实时媒体底座学無芷境3 小时前
VOCO摘要