迁移学习（transfer learning）：直接把神经网络拿来，前面的参数可以直接用，把最后一层改了。
两种训练参数的方式：
1.只训练输出层的参数
2.训练所有参数
当只有一个小数据集的时候，第一种方法很好；若数据集稍微大一些的话第二个方法更好。
两个步骤：
监督预训练(supervised pretraining):在一个大数据集上训练，得到参数
微调(fine tuning)：进一步训练，微调权重以适应具体的应用
迁移学习的另一个优点：可以直接用别人训练好的神经网络
迁移学习为什么有用？ 例如图像识别来说，一个识别猫狗的神经网络的某些隐藏层可能是用来识别边界、识别线条，这些都是一些基本的操作，所以也可以直接用来识别手写数字。