C2-3.3.3 迁移学习

C2-3.3.3 迁移学习

1、为什么要使用-迁移学习

和 "数据增强" [C2-3.3.2 数据增强.md](C2-3.3.2 数据增强.md) 相比, 有一些应用程序没有那么多数据 ,而且 很难获取到更多的数据 ------"迁移学习 " 诞生

迁移学习 在实际的应用中使用的很频繁,非常受欢迎

2、迁移学习举例

我们这里已经有一个成熟的模型,进行1000个类别分类。分成:猫、狗、车、人... 。 但是我们想要一个能实现手写体识别的模型,但是我们手里的数据很少,比如有50个吧(也不能实现数据增强)。有两种方法能实现:

  • 方法一 - 迁移学习:把人家预训练好的模型拿过来: 除了最后一层输出层以外留下所有层的参数 w , b 。 把输出层换成一个 比较小的有10个神经元的输出层(因为有10种结果的判别,簇类)。通过我们手里有的50个 手写体数据,对模型进行训练,只训练输出层的参数。
  • 方法二-传统的方法:需要很大的数据集,从头到尾进行训练

3、为什么迁移学习能胜任这份工作呢

因为在前几层 隐藏层中 做的功能都是差不多的,只不过是后面的输出层 有一些不同(有可能有时倒数几层开始不同)

4、迁移学习 总结 / 步骤

【※注释】:必须是同一个输入类型

相关推荐
WenGyyyL1 分钟前
基于昇腾平台的Qwen大模型推理部署实战:从模型转换到推理(含代码)
人工智能·python·语言模型·nlp·昇腾
Eric.Lee20212 分钟前
ultralytics-yolo-webui 项目介绍及使用演示
人工智能·计算机视觉·目标跟踪·yolo目标检测·yolo-webui
AI魔王进化论.4 分钟前
Transformer、强化学习融合?解决序列决策优化难题!!!
人工智能·深度学习·transformer
新加坡内哥谈技术11 分钟前
如何在追求正确性的过程中,意外让路由匹配性能提升 20,000 倍
人工智能
代码小白的成长11 分钟前
Windows: 调试基于千万短视频预训练的视频分类模型(videotag_tsn_lstm)
人工智能·rnn·lstm
北京青翼科技11 分钟前
【PCIE044】基于复旦微 JFM7VX690T 的全国产化 FPGA 开发套件
图像处理·人工智能·fpga开发·信号处理·智能硬件
智算菩萨14 分钟前
《自动驾驶与大模型融合新趋势:端到端感知-决策一体化架构分析》
人工智能·架构·自动驾驶
8K超高清18 分钟前
超高清科技引爆中国电影向“新”力
大数据·运维·服务器·网络·人工智能·科技
申耀的科技观察21 分钟前
【观察】为AI就绪筑基,为产业智能引路,联想凌拓铺就AI规模化落地通途
人工智能·百度
y***031724 分钟前
深入了解Text2SQL开源项目(Chat2DB、SQL Chat 、Wren AI 、Vanna)
人工智能·sql·开源