关于迁移学习的一点理解

举个栗子,老虎图片的数量非常少,可以让网络先学会识别猫的图片

1、预训练模型

内容:利用在 ImageNet1000 数据集训练好的模型,将所需的模型参数下载,嵌入到对应的网络架构中,使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型,包括 ResNet、ResNeXt、Xception、MobileNetV2等。

2、微调与冻结

2.1 微调:主要用来调整网络模型结构以适应于当前实验的分类。

2.2 冻结:保证模型前几层参数(梯度系数、权重、偏置等参数不发生变化)、主要是加快模型的训练速度,也可以增加准确率的效果。

3、领域自适应

3.1 内容:将两个领域的数据映射到同一个域不变特征的空间,然后进行分布对齐,以解决域分布不一致的问题。通俗的讲就是相似化特征,缩小相同分类结果之间的差距。

3.2 常用方法:JDA、BDA、DDA等

JDA:Transfer Feature Learning with Joint Distribution Adaptation

BDA:Balanced Distribution Adaptation for Transfer Learning

DDA:Transfer Learning with Dynamic Distribution Adaptation

4、学习资料

此网站包含当前最新的研究论文、数据集、数据结果、对比试验等

网址:https://github.com/jindongwang/transferlearning

相关推荐
张彦峰ZYF6 分钟前
AI赋能原则7解读思考:AI时代构建可组合的能力比单点专业更重要
人工智能·ai·ai赋能与落地
穿越光年12 分钟前
想部署一套本地知识库问答系统,Dify or FastGPT 到底该怎么选?
人工智能·知识图谱
强化学习与机器人控制仿真13 分钟前
ProtoMotions 3 入门教程(一)开源 GPU 加速人形机器人强化学习仿真训练框架
人工智能·stm32·深度学习·机器人·强化学习·人形机器人·模仿学习
像风没有归宿a14 分钟前
AI+教育:个性化学习与教师角色的未来
人工智能
badfl15 分钟前
OpenAI文本嵌入模型text-embedding-3是什么?
人工智能·机器学习·ai
点云SLAM21 分钟前
Discrepancy 英文单词学习
人工智能·学习·英文单词学习·雅思备考·discrepancy·不一致、不协调·矛盾
百数平台22 分钟前
如何用数据看板实现实验室管理迭代?采购 / 巡检 / 培训数据可视化方案,适配合规政策要求
大数据·人工智能
haiyu_y27 分钟前
Day 27 通用机器学习流水线
人工智能·python·机器学习
青稞社区.28 分钟前
Fast-dLLM v2:高效训练推理的块扩散大语言模型框架
人工智能·语言模型·自然语言处理
wshzd28 分钟前
LLM之Agent(三十八)|AI Agents(七):Multi-Agent架构
人工智能·架构