NLP模型的训练主要分成两步:
1.先进行通用任务的训练;无监督的样本是无穷无尽的;
这里列举两种:MLM和NSP,NSP由于在某些论文中被证明是无效的,所以用的少;
MLM:
接下来会在特定任务上进行finetune==>supervised finetuning (SFT)
NLP模型的训练主要分成两步:
1.先进行通用任务的训练;无监督的样本是无穷无尽的;
这里列举两种:MLM和NSP,NSP由于在某些论文中被证明是无效的,所以用的少;
MLM:
接下来会在特定任务上进行finetune==>supervised finetuning (SFT)