迁移学习基础知识

简介

使用迁移学习的优势:

1、能够快速的训练出一个理想的结果

2、当数据集较小时也能训练出理想的效果。

注意:在使用别人预训练的参数模型时,要注意别人的预处理方式。

原理:

对于浅层的网络结构,他们学习到的角点信息和纹理信息都是通用的,将学习好的浅层网络的信息迁移到新的网络中,这样新的网络也拥有了识别底层通用特征的能力,从而能加快网络学习新的数据集的高维特征。

常见的迁移学习的方式:

1、载入权重后训练所有参数

2、载入权重后只训练最后基层参数

3、载入权重后在原网络基础上再添加一层全连接层,仅训练最后一个全连接层。

(设备有限且需要在很短时间内得到一个比较理想的结果使用第2或第3个方式;硬件设备不受限且希望得到一个最优的结果,使用第1种方式进行训练)

后续知识再接着补充。。。

相关推荐
远洋录14 分钟前
Vue 开发者的 React 实战指南:组件设计模式篇
前端·人工智能·react
好评笔记38 分钟前
多模态论文笔记——BLIP
论文阅读·人工智能·深度学习·aigc·transformer·blip·clip
confiself41 分钟前
大模型系列——推理能力增强 rStar-Math 论文笔记
人工智能·深度学习
阿里云大数据AI技术1 小时前
阿里云 AI 搜索方案解读:大模型驱动下的智能搜索,助力企业数字化转型
人工智能·阿里云·云计算
Anna_Tong1 小时前
阿里云Qwen系列大模型:多领域AI应用的创新利器
人工智能·阿里云·语言模型·云计算
深图智能1 小时前
OpenCV的TIF红外可见光融合算法
图像处理·人工智能·python·opencv·算法·计算机视觉
羑悻的小杀马特1 小时前
【Artificial Intelligence篇】AI 入侵家庭:解锁智能生活的魔法密码,开启居家梦幻新体验
c++·人工智能·生活
JINGWHALE12 小时前
设计模式 行为型 访问者模式(Visitor Pattern)与 常见技术框架应用 解析
前端·人工智能·后端·设计模式·性能优化·系统架构·访问者模式
羊小猪~~3 小时前
错误修改系列---基于RNN模型的心脏病预测(pytorch实现)
人工智能·pytorch·rnn·深度学习·神经网络·机器学习·tensorflow
金智维科技官方3 小时前
财务自动化管理系统有哪些?
大数据·人工智能·自动化