文章目录
- 1.Fine-tuning (微调)
- [2.Transfer Learning (迁移学习)](#2.Transfer Learning (迁移学习))
- [3.Knowledge Distillation (知识蒸馏)](#3.Knowledge Distillation (知识蒸馏))
- [4.Meta Learning (元学习)](#4.Meta Learning (元学习))
这里的相关概念都是基于已有预训练模型，就是模型本身已经训练好，有一定泛化能力。需要"再加工"满足别的任务需求。
进入后GPT时代，对模型的Fine-tuning也将成为趋势，借此机会，我来科普下相关概念。
1.Fine-tuning (微调)
有些人认为微调和训练没有区别，都是训练模型，但是微调是在原模型训练好的的基础上，做针对性的再训练。微调一般用额外的数据集，降低学习率让模型适应特定任务。
2.Transfer Learning (迁移学习)
迁移学习大意是让模型适应新的任务，这涉及模型的改进和再训练。可以把微调看作是迁移学习的一种。
相比微调，迁移学习很多时候并不需要训练原有模型，可以只训练一部分，或者给模型加1-2层后，用元模型的输出作为迁移学习的输入，训练额外添加部分即可。
3.Knowledge Distillation (知识蒸馏)
KD目标是用一个小模型去学习大模型的能力，在保证基线性能的前提下，降低模型的参数和复杂度。
4.Meta Learning (元学习)
Learning to Learning，就是学会学习，这个概念并不需要预训练模型。元学习是指模型学习各类任务数据，然后学会各类任务的共性，从而适应新的任务。