关于迁移学习的一点理解

举个栗子,老虎图片的数量非常少,可以让网络先学会识别猫的图片

1、预训练模型

内容:利用在 ImageNet1000 数据集训练好的模型,将所需的模型参数下载,嵌入到对应的网络架构中,使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型,包括 ResNet、ResNeXt、Xception、MobileNetV2等。

2、微调与冻结

2.1 微调:主要用来调整网络模型结构以适应于当前实验的分类。

2.2 冻结:保证模型前几层参数(梯度系数、权重、偏置等参数不发生变化)、主要是加快模型的训练速度,也可以增加准确率的效果。

3、领域自适应

3.1 内容:将两个领域的数据映射到同一个域不变特征的空间,然后进行分布对齐,以解决域分布不一致的问题。通俗的讲就是相似化特征,缩小相同分类结果之间的差距。

3.2 常用方法:JDA、BDA、DDA等

JDA:Transfer Feature Learning with Joint Distribution Adaptation

BDA:Balanced Distribution Adaptation for Transfer Learning

DDA:Transfer Learning with Dynamic Distribution Adaptation

4、学习资料

此网站包含当前最新的研究论文、数据集、数据结果、对比试验等

网址:https://github.com/jindongwang/transferlearning

相关推荐
深小乐4 分钟前
从 AI Skills 学实战技能(六):让 AI 帮你总结网页、PDF、视频
人工智能
宝贝儿好11 分钟前
【LLM】第二章:文本表示:词袋模型、小案例:基于文本的推荐系统(酒店推荐)
人工智能·python·深度学习·神经网络·自然语言处理·机器人·语音识别
周末程序猿29 分钟前
详解 karpathy 的 microgpt:实现一个浏览器运行的 gpt
人工智能·llm
ACP广源盛1392462567335 分钟前
破局 Type‑C 切换器痛点@ACP#GSV6155+LH3828/GSV2221+LH3828 黄金方案
c语言·开发语言·网络·人工智能·嵌入式硬件·计算机外设·电脑
xixixi7777743 分钟前
通信领域的“中国速度”:从5G-A到6G,从地面到星空
人工智能·5g·安全·ai·fpga开发·多模态
Dfreedom.1 小时前
计算机视觉全景图
人工智能·算法·计算机视觉·图像算法
EasyDSS1 小时前
智能会议管理系统/私有化视频会议平台EasyDSS私有化部署构建企业级私域视频全场景解决方案
人工智能·音视频
zhanghongbin012 小时前
成本追踪:AI API 成本计算与预算管理
人工智能
YBAdvanceFu2 小时前
从零构建智能体:深入理解 ReAct Plan Solve Reflection 三大经典范式
人工智能·python·机器学习·数据挖掘·多智能体·智能体
啦啦啦在冲冲冲2 小时前
多头注意力机制的优势是啥,遇到长文本的情况,可以从哪些情况优化呢
人工智能·深度学习