吴恩达机器学习笔记 二十一 迁移学习 预训练

迁移学习(transfer learning):直接把神经网络拿来,前面的参数可以直接用,把最后一层改了。

两种训练参数的方式:

1.只训练输出层的参数

2.训练所有参数

当只有一个小数据集的时候,第一种方法很好;若数据集稍微大一些的话第二个方法更好。

两个步骤:

监督预训练(supervised pretraining):在一个大数据集上训练,得到参数

微调(fine tuning):进一步训练,微调权重以适应具体的应用

迁移学习的另一个优点:可以直接用别人训练好的神经网络

迁移学习为什么有用? 例如图像识别来说,一个识别猫狗的神经网络的某些隐藏层可能是用来识别边界、识别线条,这些都是一些基本的操作,所以也可以直接用来识别手写数字。

相关推荐
张德锋14 分钟前
Pytorch实现mnist手写数字识别
机器学习
roman_日积跬步-终至千里37 分钟前
【学习线路】机器学习线路概述与内容关键点说明
人工智能·学习·机器学习
寻丶幽风1 小时前
论文阅读笔记——VGGT: Visual Geometry Grounded Transformer
论文阅读·笔记·transformer·三维重建·3dgs·vggt
天水幼麟2 小时前
python学习笔记(深度学习)
笔记·python·学习
you45803 小时前
小程序学习笔记:使用 MobX 实现全局数据共享,实例创建、计算属性与 Actions 方法
笔记·学习·小程序
笑衬人心。3 小时前
初学Spring AI 笔记
人工智能·笔记·spring
UQI-LIUWJ3 小时前
计算机组成笔记:缓存替换算法
笔记·缓存
DKPT3 小时前
Java设计模式之结构型模式(外观模式)介绍与说明
java·开发语言·笔记·学习·设计模式
编程小白gogogo4 小时前
Spring学习笔记
笔记·学习·spring
qq_527887874 小时前
【学习笔记】Python中主函数调用的方式
笔记·学习