关于迁移学习的一点理解

举个栗子,老虎图片的数量非常少,可以让网络先学会识别猫的图片

1、预训练模型

内容:利用在 ImageNet1000 数据集训练好的模型,将所需的模型参数下载,嵌入到对应的网络架构中,使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型,包括 ResNet、ResNeXt、Xception、MobileNetV2等。

2、微调与冻结

2.1 微调:主要用来调整网络模型结构以适应于当前实验的分类。

2.2 冻结:保证模型前几层参数(梯度系数、权重、偏置等参数不发生变化)、主要是加快模型的训练速度,也可以增加准确率的效果。

3、领域自适应

3.1 内容:将两个领域的数据映射到同一个域不变特征的空间,然后进行分布对齐,以解决域分布不一致的问题。通俗的讲就是相似化特征,缩小相同分类结果之间的差距。

3.2 常用方法:JDA、BDA、DDA等

JDA:Transfer Feature Learning with Joint Distribution Adaptation

BDA:Balanced Distribution Adaptation for Transfer Learning

DDA:Transfer Learning with Dynamic Distribution Adaptation

4、学习资料

此网站包含当前最新的研究论文、数据集、数据结果、对比试验等

网址:https://github.com/jindongwang/transferlearning

相关推荐
RoyLin2 小时前
沉睡三十年的标准:HTTP 402、生成式 UI 与智能体原生软件的时代
人工智能
needn4 小时前
TRAE为什么要发布SOLO版本?
人工智能·ai编程
毅航4 小时前
自然语言处理发展史:从规则、统计到深度学习
人工智能·后端
前端付豪4 小时前
LangChain链 写一篇完美推文?用SequencialChain链接不同的组件
人工智能·python·langchain
ursazoo4 小时前
写了一份 7000字指南,让 AI 帮我消化每天的信息流
人工智能·开源·github
_志哥_8 小时前
Superpowers 技术指南:让 AI 编程助手拥有超能力
人工智能·ai编程·测试
YongGit9 小时前
OpenClaw 本地 AI 助手完全指南:飞书接入 + 远程部署实战
人工智能
程序员鱼皮10 小时前
斯坦福大学竟然开了个 AI 编程课?!我已经学上了
人工智能·ai编程
星浩AI10 小时前
Skill 的核心要素与渐进式加载架构——如何设计一个生产可用的 Skill?
人工智能·agent
树獭非懒11 小时前
告别繁琐多端开发:DivKit 带你玩转 Server-Driven UI!
android·前端·人工智能