迁移学习基础知识

简介

使用迁移学习的优势:

1、能够快速的训练出一个理想的结果

2、当数据集较小时也能训练出理想的效果。

注意:在使用别人预训练的参数模型时,要注意别人的预处理方式。

原理:

对于浅层的网络结构,他们学习到的角点信息和纹理信息都是通用的,将学习好的浅层网络的信息迁移到新的网络中,这样新的网络也拥有了识别底层通用特征的能力,从而能加快网络学习新的数据集的高维特征。

常见的迁移学习的方式:

1、载入权重后训练所有参数

2、载入权重后只训练最后基层参数

3、载入权重后在原网络基础上再添加一层全连接层,仅训练最后一个全连接层。

(设备有限且需要在很短时间内得到一个比较理想的结果使用第2或第3个方式;硬件设备不受限且希望得到一个最优的结果,使用第1种方式进行训练)

后续知识再接着补充。。。

相关推荐
后端小肥肠6 分钟前
公众号对标账号文章总错过?用 WeWe-RSS+ n8n,对标文章定时到你的邮箱(下篇教程)
人工智能·agent
Gloria_niki18 分钟前
目标检测学习总结
人工智能·计算机视觉·目标跟踪
Juchecar1 小时前
给AI装上“手脚”:大模型如何自动执行复杂任务?
人工智能
惜月_treasure1 小时前
LlamaIndex多模态RAG开发实现详解
开发语言·python·机器学习
长鸳词羡1 小时前
LoRA微调
人工智能·深度学习·机器学习
jerryinwuhan2 小时前
Transformer ViT 架构(转载)
人工智能·深度学习·transformer
码农阿豪2 小时前
【征文计划】码上分享:基于 Rokid CXR-M SDK 构建「AI远程协作助手」实战全记录
人工智能·kotlin·sdk·rokid
mahuan1688882 小时前
ITVDesk
人工智能
聚梦小课堂2 小时前
用于大语言模型后训练阶段的新方法GVPO(Group Variance Policy Optimization)
人工智能·语言模型·后训练