关于迁移学习的一点理解

举个栗子,老虎图片的数量非常少,可以让网络先学会识别猫的图片

1、预训练模型

内容:利用在 ImageNet1000 数据集训练好的模型,将所需的模型参数下载,嵌入到对应的网络架构中,使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型,包括 ResNet、ResNeXt、Xception、MobileNetV2等。

2、微调与冻结

2.1 微调:主要用来调整网络模型结构以适应于当前实验的分类。

2.2 冻结:保证模型前几层参数(梯度系数、权重、偏置等参数不发生变化)、主要是加快模型的训练速度,也可以增加准确率的效果。

3、领域自适应

3.1 内容:将两个领域的数据映射到同一个域不变特征的空间,然后进行分布对齐,以解决域分布不一致的问题。通俗的讲就是相似化特征,缩小相同分类结果之间的差距。

3.2 常用方法:JDA、BDA、DDA等

JDA:Transfer Feature Learning with Joint Distribution Adaptation

BDA:Balanced Distribution Adaptation for Transfer Learning

DDA:Transfer Learning with Dynamic Distribution Adaptation

4、学习资料

此网站包含当前最新的研究论文、数据集、数据结果、对比试验等

网址:https://github.com/jindongwang/transferlearning

相关推荐
柯南小海盗1 分钟前
从“会聊天的AI”到“全能助手”:大语言模型科普
人工智能·语言模型·自然语言处理
焦耳热科技前沿4 分钟前
中科大EMA:3秒焦耳热一步合成双功能催化剂用于甲醇氧化协同高效制氢
大数据·人工智能·自动化·能源·材料工程
向量引擎小橙7 分钟前
推理革命与能耗:AI大模型应用落地的“冰山成本”与破局之路
大数据·人工智能·深度学习·集成学习
学好statistics和DS9 分钟前
卷积神经网络中的反向传播
人工智能·神经网络·cnn
ggaofeng11 分钟前
运行调试大语言模型
人工智能·语言模型·自然语言处理
rayufo23 分钟前
深度学习对三维图形点云数据分类
人工智能·深度学习·分类
综合热讯1 小时前
itc保伦股份低空经济数字化升级项目成功入编《“人工智能+”行业生态范式案例集》!
人工智能
大模型任我行1 小时前
微软:小模型微调优化企业搜索
人工智能·语言模型·自然语言处理·论文笔记
TMT星球1 小时前
星动纪元携人形机器人家族亮相CES 2026,海外业务占比达50%
大数据·人工智能·机器人
程序员爱德华1 小时前
镜面检测 Mirror Detection
人工智能·计算机视觉·语义分割·镜面检测