迁移学习(transfer learning):直接把神经网络拿来,前面的参数可以直接用,把最后一层改了。
两种训练参数的方式:
1.只训练输出层的参数
2.训练所有参数
当只有一个小数据集的时候,第一种方法很好;若数据集稍微大一些的话第二个方法更好。
两个步骤:
监督预训练(supervised pretraining):在一个大数据集上训练,得到参数
微调(fine tuning):进一步训练,微调权重以适应具体的应用
迁移学习的另一个优点:可以直接用别人训练好的神经网络
迁移学习为什么有用? 例如图像识别来说,一个识别猫狗的神经网络的某些隐藏层可能是用来识别边界、识别线条,这些都是一些基本的操作,所以也可以直接用来识别手写数字。