吴恩达机器学习笔记 二十一 迁移学习 预训练

迁移学习(transfer learning):直接把神经网络拿来,前面的参数可以直接用,把最后一层改了。

两种训练参数的方式:

1.只训练输出层的参数

2.训练所有参数

当只有一个小数据集的时候,第一种方法很好;若数据集稍微大一些的话第二个方法更好。

两个步骤:

监督预训练(supervised pretraining):在一个大数据集上训练,得到参数

微调(fine tuning):进一步训练,微调权重以适应具体的应用

迁移学习的另一个优点:可以直接用别人训练好的神经网络

迁移学习为什么有用? 例如图像识别来说,一个识别猫狗的神经网络的某些隐藏层可能是用来识别边界、识别线条,这些都是一些基本的操作,所以也可以直接用来识别手写数字。

相关推荐
金宗汉34 分钟前
《宇宙递归拓扑学:基于自指性与拓扑流形的无限逼近模型》
大数据·人工智能·笔记·算法·观察者模式
狮智先生1 小时前
【学习笔记】利用meshlab进行曲面的质量检查
经验分享·笔记·课程设计·几何学
新子y3 小时前
【小白笔记】岛屿数量
笔记·python
CLubiy3 小时前
【研究生随笔】Pytorch中的线性代数
pytorch·python·深度学习·线性代数·机器学习
Larry_Yanan3 小时前
QML学习笔记(四十三)QML与C++交互:上下文属性暴露
c++·笔记·qt·学习·ui·交互
新子y3 小时前
【小白笔记】岛屿的周长(Island Perimeter)
笔记·python
霜绛3 小时前
Unity:UGUI笔记(一)——三大基础控件、组合控件
笔记·学习·unity·游戏引擎
孤狼灬笑4 小时前
机器学习十大经典算法解析与对比
人工智能·算法·机器学习
代码or搬砖4 小时前
Git学习笔记(三)
笔记·git·学习
星际棋手4 小时前
【AI】一文说清楚神经网络、机器学习、专家系统
人工智能·神经网络·机器学习