Hi，大家好，我是半亩花海。在上节说明了迁移学习领域的其他度量准则（KL散度与JS距离、MMD、PA、A-distance、HSIC）之后，本文主要将介绍迁移学习的四种基本方法------基于样本 迁移、基于特征 迁移、基于模型 迁移、基于关系 迁移。其中，基于样本迁移通过调整源域样本权重实现迁移；基于特征迁移通过特征变换减少域间差异，是目前研究热点；基于模型迁移寻找共享参数，多与深度神经网络结合；基于关系迁移关注样本间关系，但相关研究较少。文章重点分析了基于特征和模型的方法，指出它们是目前迁移学习领域的主要研究方向。
目录
基于样本的迁移学习方法示意图
按照迁移学习领域权威综述文章 A survey on transfer learning [Pan and Yang, 2010]， 迁移学习的基本方法可以分为四种。这四种基本的方法分别是：基于样本的迁移，基于模型的迁移，基于特征的迁移，及基于关系的迁移。本部分简要叙述各种方法的基本原理和代表性相关工作。基于特征和模型的迁移方法是我们的重点。
一、基于样本迁移
基于样本的迁移学习方法 (Instance based Transfer Learning) 根据一定的权重生成规则，对数据样本进行重用，来进行迁移学习。图14形象地表示了基于样本迁移方法的思想。 源域中存在不同种类的动物，如狗、鸟、猫等，目标域只有狗这一种类别。在迁移时，为了最大限度地和目标域相似，我们可以人为地提高源域中属于狗这个类别的样本权重。
二、基于特征迁移
基于特征的迁移方法 (Feature based Transfer Learning) 是指将通过特征变换的方式互相迁移 [Liu et al., 2011, Zheng et al., 2008, Hu and Yang, 2011]，来减少源域和目标域之间的差距；或者将源域和目标域的数据特征变换到统一特征空间中 [Pan et al., 2011, Long et al., 2014b, Duan et al., 2012]，然后利用传统的机器学习方法进行分类识别。根据特征的同构和异构性，又可以分为同构和异构迁移学习。图15很形象地表示了两种基于特征的迁移学习方法。
基于特征的迁移学习方法示意图
++基于特征的迁移学习方法是迁移学习领域中最热门的研究方法++，这类方法通常假设源域和目标域间有一些交叉的特征。近年来，基于特征的迁移学习方法大多与神经网络进行结合，在神经网络的训练中进行学习特征和模型的迁移。
三、基于模型迁移
基于模型的迁移方法 (Parameter/Model based Transfer Learning) 是指从源域和目标域中找到他们之间共享的参数信息，以实现迁移的方法。这种迁移方式要求的假设条件是：源域中的数据与目标域中的数据可以共享一些模型的参数。下图形象地表示了基于模型的迁移学习方法的基本思想。
基于模型的迁移学习方法示意图
通过对现有工作的调研可以发现，目前绝大多数基于模型的迁移学习方法都与深度神经网络进行结合。这些方法对现有的一些神经网络结构进行修改，在网络中加入领域适配层，然后联合进行训练。因此，++这些方法也可以看作是基于模型、特征的方法的结合++。
四、基于关系迁移
基于关系的迁移学习方法 (Relation Based Transfer Learning) 与上述三种方法具有截 然不同的思路。这种方法比较关注源域和目标域的样本之间的关系。下图形象地表示了不同领域之间相似的关系。
基于关系的迁移学习方法示意图
就目前来说，基于关系的迁移学习方法的相关研究工作非常少，仅有几篇连贯式的文章讨论：[Mihalkova et al., 2007, Mihalkova and Mooney, 2008, Davis and Domingos, 2009]。这些文章都借助于马尔科夫逻辑网络 (Markov Logic Net) 来挖掘不同领域之间的关系相似性。
基于马尔科夫逻辑网的关系迁移标题
在后面的文章中，我们将重点讨论基于特征和基于模型的迁移学习方法，这也是目前绝大多数研究工作的热点。
五、参考资料
1. 王晋东《迁移学习简明手册》(PDF版) https://www.labxing.com/files/lab_publications/615-1533737180-LiEa0mQe.pdf#page=82&zoom=100,120,392
2. 《迁移学习简明手册》发布啦！ https://zhuanlan.zhihu.com/p/35352154