5. 迁移学习(所谓迁移学习:一是 必须有一个预训练模型,二是 必须进行微调;)一般情况下预训练模型都是大型模型,具备复杂的网络结构,众多的参数量,以及在足够大的数据集下进行训练而产生的模型。在NLP领域,预训练模型往往是语言模型。因为语言模型的训练是无监督的,可以获得大规模语料,同时语言模型又是许多典型NLP任务的基础,如机器翻译,文本生成,阅读理解等,常见的 预训练模型有 BERT,GPT, roBERTa,transformer-XL等。(预训练模型特点:模型结构一般较复杂且是在众多语料下训练好的模型,可拿来直接