迁移学习基础知识

简介

使用迁移学习的优势:

1、能够快速的训练出一个理想的结果

2、当数据集较小时也能训练出理想的效果。

注意:在使用别人预训练的参数模型时,要注意别人的预处理方式。

原理:

对于浅层的网络结构,他们学习到的角点信息和纹理信息都是通用的,将学习好的浅层网络的信息迁移到新的网络中,这样新的网络也拥有了识别底层通用特征的能力,从而能加快网络学习新的数据集的高维特征。

常见的迁移学习的方式:

1、载入权重后训练所有参数

2、载入权重后只训练最后基层参数

3、载入权重后在原网络基础上再添加一层全连接层,仅训练最后一个全连接层。

(设备有限且需要在很短时间内得到一个比较理想的结果使用第2或第3个方式;硬件设备不受限且希望得到一个最优的结果,使用第1种方式进行训练)

后续知识再接着补充。。。

相关推荐
لا معنى له2 分钟前
学习笔记:Transformer
人工智能·笔记·深度学习·学习·机器学习·transformer
人工智能培训2 分钟前
什么是基于大模型的智能体构建?
人工智能·深度学习·大模型·具身智能·智能体·智能体构建·大模型智能体
深度学习实战训练营13 分钟前
SegFormer:使用Transformer进行语义分割,简单而高效的设计-k学长深度学习专栏
人工智能·深度学习·transformer
大、男人13 分钟前
FastMCP高级特性之Composition
人工智能·fastmcp
CES_Asia14 分钟前
机器人“奥运会”燃动北京——CES Asia 2026全球机器人性能挑战赛与展览定档
大数据·人工智能·机器人
DKNG16 分钟前
【Windows Host】 hosts配置增加访问github流畅度
人工智能·git·github
昨日之日200620 分钟前
Fun-ASR - 多语言多方言的高精度语音识别软件 支持50系显卡 一键整合包下载
人工智能·音视频·语音识别
AIGC科技34 分钟前
焕新而来,境由AI生|AIRender升级更名“渲境AI”,重新定义设计渲染效率
人工智能·深度学习·图形渲染
出来吧皮卡丘38 分钟前
A2UI:让 AI Agent 自主构建用户界面的新范式
前端·人工智能·aigc
nju_spy41 分钟前
深度强化学习 TRPO 置信域策略优化实验(sb3_contrib / 手搓 + CartPole-v1 / Breakout-v5)
人工智能·强化学习·共轭梯度法·策略网络·trpo·sb3_contrib·breakout游戏