关于迁移学习的一点理解

举个栗子,老虎图片的数量非常少,可以让网络先学会识别猫的图片

1、预训练模型

内容:利用在 ImageNet1000 数据集训练好的模型,将所需的模型参数下载,嵌入到对应的网络架构中,使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型,包括 ResNet、ResNeXt、Xception、MobileNetV2等。

2、微调与冻结

2.1 微调:主要用来调整网络模型结构以适应于当前实验的分类。

2.2 冻结:保证模型前几层参数(梯度系数、权重、偏置等参数不发生变化)、主要是加快模型的训练速度,也可以增加准确率的效果。

3、领域自适应

3.1 内容:将两个领域的数据映射到同一个域不变特征的空间,然后进行分布对齐,以解决域分布不一致的问题。通俗的讲就是相似化特征,缩小相同分类结果之间的差距。

3.2 常用方法:JDA、BDA、DDA等

JDA:Transfer Feature Learning with Joint Distribution Adaptation

BDA:Balanced Distribution Adaptation for Transfer Learning

DDA:Transfer Learning with Dynamic Distribution Adaptation

4、学习资料

此网站包含当前最新的研究论文、数据集、数据结果、对比试验等

网址:https://github.com/jindongwang/transferlearning

相关推荐
亚马逊云开发者2 分钟前
准确率从 19% 提升至 95%!文本审核模型优化的三个阶段实践(下)
人工智能
盛寒3 分钟前
词法分析和词性标注 自然语言处理
人工智能·自然语言处理
计算机集成_4 分钟前
具身智能之人形机器人核心零部件介绍
人工智能·经验分享·机器人
新智元16 分钟前
苹果 OS 全家桶 12 年最狠升级!AI 入侵一切,唯独 Siri 没更
人工智能·openai
我是初九16 分钟前
【李沐-动手学深度学习v2】1.Colab学习环境配置
人工智能·python·学习·colab
T062051438 分钟前
【实证分析】上市公司企业风险承担水平数据集(2000-2022年)
大数据·人工智能
电报号dapp11939 分钟前
全链游戏模式:自治世界与AI增强型交互
人工智能·游戏·web3·去中心化·区块链·智能合约
不爱学英文的码字机器40 分钟前
持续交付的进化:从DevOps到AI驱动的IT新动能
运维·人工智能·devops
Vertira42 分钟前
如何在 PyTorch 中自定义卷积核参数(亲测,已解决)
人工智能·pytorch·python
henyaoyuancc1 小时前
vla学习 富
人工智能·算法