关于迁移学习的一点理解

举个栗子,老虎图片的数量非常少,可以让网络先学会识别猫的图片

1、预训练模型

内容:利用在 ImageNet1000 数据集训练好的模型,将所需的模型参数下载,嵌入到对应的网络架构中,使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型,包括 ResNet、ResNeXt、Xception、MobileNetV2等。

2、微调与冻结

2.1 微调:主要用来调整网络模型结构以适应于当前实验的分类。

2.2 冻结:保证模型前几层参数(梯度系数、权重、偏置等参数不发生变化)、主要是加快模型的训练速度,也可以增加准确率的效果。

3、领域自适应

3.1 内容:将两个领域的数据映射到同一个域不变特征的空间,然后进行分布对齐,以解决域分布不一致的问题。通俗的讲就是相似化特征,缩小相同分类结果之间的差距。

3.2 常用方法:JDA、BDA、DDA等

JDA:Transfer Feature Learning with Joint Distribution Adaptation

BDA:Balanced Distribution Adaptation for Transfer Learning

DDA:Transfer Learning with Dynamic Distribution Adaptation

4、学习资料

此网站包含当前最新的研究论文、数据集、数据结果、对比试验等

网址:https://github.com/jindongwang/transferlearning

相关推荐
火山引擎开发者社区31 分钟前
火山引擎发布《企业级 ArkClaw 安全白皮书》
人工智能
阿里云大数据AI技术1 小时前
Hologres AI Function 文本分类实战:从提示词设计到 KV-Cache 调优,全程 SQL 搞定
人工智能·sql
code_pgf2 小时前
AI-Agent记忆机制分析
大数据·人工智能
阿拉斯攀登3 小时前
安全与可控性:输出校验、权限控制
人工智能·chatgpt·agent·memory·claude·知识库·向量数据库
冬奇Lab3 小时前
每日一个开源项目(第152篇):SAG - 用 SQL JOIN 代替 PageRank 做多跳 RAG 检索
人工智能·开源
冬奇Lab3 小时前
Workflow 系列(09):主流框架对比——Prompt-based、LangGraph、Temporal、n8n 如何选
人工智能·工作流引擎
程序员老猫4 小时前
vide coding 个人产品,那就从博客开始吧
人工智能·程序员·全栈
geo搜搜果数据4 小时前
实测5大AI平台品牌排名:复现GEO监测流程
人工智能·langchain·搜搜果