Hi，大家好，我是半亩花海。在上节说明了迁移学习领域的其他度量准则（KL散度与JS距离、MMD、PA、A-distance、HSIC）之后，本文主要将介绍迁移学习的四种基本方法------基于样本 迁移、基于特征 迁移、基于模型 迁移、基于关系 迁移。其中，基于样本迁移通过调整源域样本权重实现迁移；基于特征迁移通过特征变换减少域间差异，是目前研究热点；基于模型迁移寻找共享参数，多与深度神经网络结合；基于关系迁移关注样本间关系，但相关研究较少。文章重点分析了基于特征和模型的方法，指出它们是目前迁移学习领域的主要研究方向。
目录
基于样本的迁移学习方法示意图
按照迁移学习领域权威综述文章 A survey on transfer learning Pan and Yang, 2010， 迁移学习的基本方法可以分为四种。这四种基本的方法分别是：基于样本的迁移，基于模型的迁移，基于特征的迁移，及基于关系的迁移。本部分简要叙述各种方法的基本原理和代表性相关工作。基于特征和模型的迁移方法是我们的重点。
一、基于样本迁移
基于样本的迁移学习方法 (Instance based Transfer Learning) 根据一定的权重生成规则，对数据样本进行重用，来进行迁移学习。图14形象地表示了基于样本迁移方法的思想。 源域中存在不同种类的动物，如狗、鸟、猫等，目标域只有狗这一种类别。在迁移时，为了最大限度地和目标域相似，我们可以人为地提高源域中属于狗这个类别的样本权重。
二、基于特征迁移
基于特征的迁移方法 (Feature based Transfer Learning) 是指将通过特征变换的方式互相迁移 Liu et al., 2011, Zheng et al., 2008, Hu and Yang, 2011，来减少源域和目标域之间的差距；或者将源域和目标域的数据特征变换到统一特征空间中 Pan et al., 2011, Long et al., 2014b, Duan et al., 2012，然后利用传统的机器学习方法进行分类识别。根据特征的同构和异构性，又可以分为同构和异构迁移学习。图15很形象地表示了两种基于特征的迁移学习方法。
基于特征的迁移学习方法示意图
++基于特征的迁移学习方法是迁移学习领域中最热门的研究方法++，这类方法通常假设源域和目标域间有一些交叉的特征。近年来，基于特征的迁移学习方法大多与神经网络进行结合，在神经网络的训练中进行学习特征和模型的迁移。
三、基于模型迁移
基于模型的迁移方法 (Parameter/Model based Transfer Learning) 是指从源域和目标域中找到他们之间共享的参数信息，以实现迁移的方法。这种迁移方式要求的假设条件是：源域中的数据与目标域中的数据可以共享一些模型的参数。下图形象地表示了基于模型的迁移学习方法的基本思想。
基于模型的迁移学习方法示意图
通过对现有工作的调研可以发现，目前绝大多数基于模型的迁移学习方法都与深度神经网络进行结合。这些方法对现有的一些神经网络结构进行修改，在网络中加入领域适配层，然后联合进行训练。因此，++这些方法也可以看作是基于模型、特征的方法的结合++。
四、基于关系迁移
基于关系的迁移学习方法 (Relation Based Transfer Learning) 与上述三种方法具有截 然不同的思路。这种方法比较关注源域和目标域的样本之间的关系。下图形象地表示了不同领域之间相似的关系。
基于关系的迁移学习方法示意图
就目前来说，基于关系的迁移学习方法的相关研究工作非常少，仅有几篇连贯式的文章讨论：Mihalkova et al., 2007, Mihalkova and Mooney, 2008, Davis and Domingos, 2009。这些文章都借助于马尔科夫逻辑网络 (Markov Logic Net) 来挖掘不同领域之间的关系相似性。
基于马尔科夫逻辑网的关系迁移标题
在后面的文章中，我们将重点讨论基于特征和基于模型的迁移学习方法，这也是目前绝大多数研究工作的热点。
五、参考资料
1. 王晋东《迁移学习简明手册》(PDF版) https://www.labxing.com/files/lab_publications/615-1533737180-LiEa0mQe.pdf#page=82&zoom=100,120,392
2. 《迁移学习简明手册》发布啦！ https://zhuanlan.zhihu.com/p/35352154