nsp

思考实践1 年前
人工智能·微调·预训练·mlm·nsp
【LLM】预训练||两句话明白儿的底层原理从字面上看，预训练模型（pre-training model）是先通过一批语料进行训练模型，然后在这个初步训练好的模型基础上，再继续训练或者另作他用。这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：预训练阶段（pre-training）和 微调（fune-tuning）阶段。