NLP模型的训练主要分成两步：
1.先进行通用任务的训练；无监督的样本是无穷无尽的；
这里列举两种：MLM和NSP,NSP由于在某些论文中被证明是无效的，所以用的少；
MLM:
接下来会在特定任务上进行finetune==>supervised finetuning (SFT)
相关推荐
人工智能AI技术8 分钟前
GitHub Copilot免费替代方案：大学生如何用CodeGeeX+通义灵码搭建AI编程环境Chunyyyen9 分钟前
【第三十四周】视觉RAG01大江东去浪淘尽千古风流人物9 分钟前
【SLAM新范式】几何主导=》几何+学习+语义+高效表示的融合是枚小菜鸡儿吖11 分钟前
CANN 算子开发黑科技：AI 自动生成高性能 Kernel 代码hqyjzsb17 分钟前
盲目用AI提效？当心陷入“工具奴”陷阱，效率不增反降Eloudy24 分钟前
用 Python 直写 CUDA Kernel的技术，CuTile、TileLang、Triton 与 PyTorch 的深度融合实践神的泪水25 分钟前
CANN 实战全景篇：从零构建 LLM 推理引擎（基于 CANN 原生栈）yuanyuan2o226 分钟前
【深度学习】全连接、卷积神经网络八零后琐话31 分钟前
干货：Claude最新大招Cowork避坑！