关于迁移学习的一点理解

举个栗子,老虎图片的数量非常少,可以让网络先学会识别猫的图片

1、预训练模型

内容:利用在 ImageNet1000 数据集训练好的模型,将所需的模型参数下载,嵌入到对应的网络架构中,使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型,包括 ResNet、ResNeXt、Xception、MobileNetV2等。

2、微调与冻结

2.1 微调:主要用来调整网络模型结构以适应于当前实验的分类。

2.2 冻结:保证模型前几层参数(梯度系数、权重、偏置等参数不发生变化)、主要是加快模型的训练速度,也可以增加准确率的效果。

3、领域自适应

3.1 内容:将两个领域的数据映射到同一个域不变特征的空间,然后进行分布对齐,以解决域分布不一致的问题。通俗的讲就是相似化特征,缩小相同分类结果之间的差距。

3.2 常用方法:JDA、BDA、DDA等

JDA:Transfer Feature Learning with Joint Distribution Adaptation

BDA:Balanced Distribution Adaptation for Transfer Learning

DDA:Transfer Learning with Dynamic Distribution Adaptation

4、学习资料

此网站包含当前最新的研究论文、数据集、数据结果、对比试验等

网址:https://github.com/jindongwang/transferlearning

相关推荐
love530love4 小时前
Windows 下 GCC 编译器安装与排错实录
人工智能·windows·python·gcc·msys2·gtk·msys2 mingw 64
倔强的石头1064 小时前
归纳偏好 —— 机器学习的 “择偶标准”
人工智能·机器学习
zhangshuang-peta4 小时前
通过MCP实现安全的多渠道人工智能集成
人工智能·ai agent·mcp·peta
听麟4 小时前
HarmonyOS 6.0+ APP AR文旅导览系统开发实战:空间定位与文物交互落地
人工智能·深度学习·华为·ar·wpf·harmonyos
AI_56784 小时前
阿里云OSS成本优化:生命周期规则+分层存储省70%
运维·数据库·人工智能·ai
龙山云仓4 小时前
MES系统超融合架构
大数据·数据库·人工智能·sql·机器学习·架构·全文检索
zxsz_com_cn4 小时前
设备预测性维护指的是什么 设备预测性维护传感器的作用
人工智能
可编程芯片开发4 小时前
基于PSO粒子群优化PI控制器的无刷直流电机最优控制系统simulink建模与仿真
人工智能·算法·simulink·pso·pi控制器·pso-pi
迎仔4 小时前
02-AI常见名词通俗解释
人工智能
程序员ken4 小时前
深入理解大语言模型(8) 使用 LangChain 开发应用程序之上下文记忆
人工智能·python·语言模型·langchain