迁移学习的基本方法——基于样本、特征、模型、关系的迁移

Hi,大家好,我是半亩花海。在上节说明了迁移学习领域的其他度量准则(KL散度与JS距离、MMD、PA、A-distance、HSIC)之后,本文主要将介绍迁移学习的四种基本方法------基于样本 迁移、基于特征 迁移、基于模型 迁移、基于关系 迁移。其中,基于样本迁移通过调整源域样本权重实现迁移;基于特征迁移通过特征变换减少域间差异,是目前研究热点;基于模型迁移寻找共享参数,多与深度神经网络结合;基于关系迁移关注样本间关系,但相关研究较少。文章重点分析了基于特征和模型的方法,指出它们是目前迁移学习领域的主要研究方向。


目录

一、基于样本迁移

二、基于特征迁移

三、基于模型迁移

四、基于关系迁移


基于样本的迁移学习方法示意图

按照迁移学习领域权威综述文章 A survey on transfer learning Pan and Yang, 2010, 迁移学习的基本方法可以分为四种。这四种基本的方法分别是:基于样本的迁移,基于模型的迁移,基于特征的迁移,及基于关系的迁移。本部分简要叙述各种方法的基本原理和代表性相关工作。基于特征和模型的迁移方法是我们的重点。

一、基于样本迁移

基于样本的迁移学习方法 (Instance based Transfer Learning) 根据一定的权重生成规则,对数据样本进行重用,来进行迁移学习。图14形象地表示了基于样本迁移方法的思想。 源域中存在不同种类的动物,如狗、鸟、猫等,目标域只有狗这一种类别。在迁移时,为了最大限度地和目标域相似,我们可以人为地提高源域中属于狗这个类别的样本权重。


二、基于特征迁移

基于特征的迁移方法 (Feature based Transfer Learning) 是指将通过特征变换的方式互相迁移 Liu et al., 2011, Zheng et al., 2008, Hu and Yang, 2011,来减少源域和目标域之间的差距;或者将源域和目标域的数据特征变换到统一特征空间中 Pan et al., 2011, Long et al., 2014b, Duan et al., 2012,然后利用传统的机器学习方法进行分类识别。根据特征的同构和异构性,又可以分为同构和异构迁移学习。图15很形象地表示了两种基于特征的迁移学习方法。
基于特征的迁移学习方法示意图

++基于特征的迁移学习方法是迁移学习领域中最热门的研究方法++,这类方法通常假设源域和目标域间有一些交叉的特征。近年来,基于特征的迁移学习方法大多与神经网络进行结合,在神经网络的训练中进行学习特征和模型的迁移。


三、基于模型迁移

基于模型的迁移方法 (Parameter/Model based Transfer Learning) 是指从源域和目标域中找到他们之间共享的参数信息,以实现迁移的方法。这种迁移方式要求的假设条件是:源域中的数据与目标域中的数据可以共享一些模型的参数。下图形象地表示了基于模型的迁移学习方法的基本思想。
基于模型的迁移学习方法示意图

通过对现有工作的调研可以发现,目前绝大多数基于模型的迁移学习方法都与深度神经网络进行结合。这些方法对现有的一些神经网络结构进行修改,在网络中加入领域适配层,然后联合进行训练。因此,++这些方法也可以看作是基于模型、特征的方法的结合++。


四、基于关系迁移

基于关系的迁移学习方法 (Relation Based Transfer Learning) 与上述三种方法具有截 然不同的思路。这种方法比较关注源域和目标域的样本之间的关系。下图形象地表示了不同领域之间相似的关系。
基于关系的迁移学习方法示意图

就目前来说,基于关系的迁移学习方法的相关研究工作非常少,仅有几篇连贯式的文章讨论:Mihalkova et al., 2007, Mihalkova and Mooney, 2008, Davis and Domingos, 2009。这些文章都借助于马尔科夫逻辑网络 (Markov Logic Net) 来挖掘不同领域之间的关系相似性。
基于马尔科夫逻辑网的关系迁移标题

在后面的文章中,我们将重点讨论基于特征和基于模型的迁移学习方法,这也是目前绝大多数研究工作的热点。


五、参考资料

1. 王晋东《迁移学习简明手册》(PDF版) https://www.labxing.com/files/lab_publications/615-1533737180-LiEa0mQe.pdf#page=82&zoom=100,120,392

2. 《迁移学习简明手册》发布啦! https://zhuanlan.zhihu.com/p/35352154

相关推荐
VIP_CQCRE6 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷7 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我7 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁017 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java8 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn8 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄8 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下9 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码9 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下10 小时前
langgraph 全栈项目(二)
前端·人工智能·后端