迁移学习基础知识

简介

使用迁移学习的优势:

1、能够快速的训练出一个理想的结果

2、当数据集较小时也能训练出理想的效果。

注意:在使用别人预训练的参数模型时,要注意别人的预处理方式。

原理:

对于浅层的网络结构,他们学习到的角点信息和纹理信息都是通用的,将学习好的浅层网络的信息迁移到新的网络中,这样新的网络也拥有了识别底层通用特征的能力,从而能加快网络学习新的数据集的高维特征。

常见的迁移学习的方式:

1、载入权重后训练所有参数

2、载入权重后只训练最后基层参数

3、载入权重后在原网络基础上再添加一层全连接层,仅训练最后一个全连接层。

(设备有限且需要在很短时间内得到一个比较理想的结果使用第2或第3个方式;硬件设备不受限且希望得到一个最优的结果,使用第1种方式进行训练)

后续知识再接着补充。。。

相关推荐
呆呆敲代码的小Y几秒前
AI Agent 实战:last30days-skill-cn 一键搜索中国 8 大平台,30 秒生成深度研究报告
人工智能
AI行业学习3 分钟前
2026 版 Notepad++ 完整图文安装指南|官方渠道无捆绑,一键切换中文界面
开发语言·人工智能·python·html·notepad++
aneasystone本尊3 分钟前
OpenMontage 快速入门
人工智能
诚信定制8394 分钟前
2025年CSDN年度技术趋势预测:AI、云原生与开发者工具的未来
人工智能·云原生
Bode_20028 分钟前
生成式界面设计案例
人工智能
IT_陈寒16 分钟前
Vue的v-if和v-show,我竟然用错了这么久
前端·人工智能·后端
mingo_敏16 分钟前
大模型Model Architecture模型架构:从Transformer到MoE,架构决定AI上限
人工智能·架构·transformer
Sam092728 分钟前
【AI 算法精讲 15】余弦相似度:向量检索与归一化内积
人工智能·python·算法·ai
TPBoreas29 分钟前
AI 架构图绘制 + Mermaid 实战:从痛点到 Diagram as Code
人工智能·ai
IT_陈寒29 分钟前
React状态更新延迟搞晕我,原来是闭包在捣鬼
前端·人工智能·后端