迁移学习简明手册——迁移学习相关研究学者

Hi，大家好，我是半亩花海。在上节说明了迁移学习相关的期刊和会议 之后，本文主要将介绍迁移学习研究学者及其主要研究成果。应用研究部分包括杨强、Sinno J. Pan等学者的迁移学习方法，如TCA、DAN等；理论研究部分涵盖Arthur Gretton、Yoshua Bengio等人在迁移学习理论方面的贡献。文章还提供了相关学者的代表著作和参考资料，为迁移学习研究者提供了重要参考。完整内容详见王晋东GitHub链接（详见文中）。

一、应用研究

[1. Qiang Yang @ HKUST](#1. Qiang Yang @ HKUST)

[2. Sinno J. Pan @ NTU](#2. Sinno J. Pan @ NTU)

[3. Lixin Duan @ UESTC](#3. Lixin Duan @ UESTC)

[4. Mingsheng Long @ THU](#4. Mingsheng Long @ THU)

[5. Judy Hoffman @ UC Berkeley & Stanford](#5. Judy Hoffman @ UC Berkeley & Stanford)

[6. Fuzhen Zhuang @ ICT, CAS](#6. Fuzhen Zhuang @ ICT, CAS)

[7. Kilian Q. Weinberger @ Cornell U.](#7. Kilian Q. Weinberger @ Cornell U.)

[8. Fei Sha @ USC USC](#8. Fei Sha @ USC USC)

[9. Mahsa Baktashmotlagh @ U. Queensland](#9. Mahsa Baktashmotlagh @ U. Queensland)

[10. Baochen Sun @ Microsoft](#10. Baochen Sun @ Microsoft)

二、理论研究

[1. Arthur Gretton @ UCL](#1. Arthur Gretton @ UCL)

[2. Shai Ben-David @ U.Waterloo](#2. Shai Ben-David @ U.Waterloo)

[3. Alex Smola @ CMU](#3. Alex Smola @ CMU)

[4. John Blitzer @ Google](#4. John Blitzer @ Google)

[5. Yoshua Bengio @ U.Montreal](#5. Yoshua Bengio @ U.Montreal)

[6. Geoffrey Hinton @ U.Toronto](#6. Geoffrey Hinton @ U.Toronto)

三、参考资料

下面列出了一些迁移学习领域代表性学者以及他们的最具代表性的工作，以供分享。一般这些工作都是由他们一作，或者是由自己的学生做出来的。当然，这里所列的文章比起这些大牛发过的文章会少得多，这里仅仅列出他们最知名的工作。本部分详见：https://github.com/jindongwang/transferlearning/blob/master/doc/scholar_TL.md

一、应用研究

1. Qiang Yang @ HKUST

迁移学习领域权威大牛。他所在的课题组基本都做迁移学习方面的研究。迁移学习综述《A survey on transfer learning》就出自杨强老师课题组。他的学生们：

1). Sinno J. Pan @ NTU

现为老师，详细介绍见第二条。

2). Ben Tan

主要研究传递迁移学习 (transitive transfer learning)，现在腾讯做高级研究员。代表文章：

Transitive Transfer Learning. KDD 2015.
Distant Domain Transfer Learning. AAAI 2017.

3). Derek Hao Hu

主要研究迁移学习与行为识别结合，目前在 Snap 公司。代表文章：

Transfer Learning for Activity Recognition via Sensor Mapping. IJCAI 2011.
Cross-domain activity recognition via transfer learning. PMC 2011.
Bridging domains using world wide knowledge for transfer learning. TKDE 2010.

4). Vencent Wencheng Zheng

也做行为识别与迁移学习的结合，目前在新加坡一个研究所当研究科学家。代表文章：

User-dependent Aspect Model for Collaborative Activity Recognition. IJCAI 2011.
Transfer Learning by Reusing Structured Knowledge. AI Magazine.
Transferring Multi-device Localization Models using Latent Multi-task Learning. AAAI 2008.
Transferring Localization Models Over Time. AAAI 2008.
Cross-Domain Activity Recognition. Ubicomp 2009.
Collaborative Location and Activity Recommendations with GPS History Data. WWW 2010.

5). Ying Wei

做迁移学习与数据挖掘相关的研究。代表工作：

Instilling Social to Physical: Co-Regularized Heterogeneous Transfer Learning. AAAI 2016.
Transfer Knowledge between Cities. KDD 2016.
Learning to Transfer. arXiv 2017.

其他还有很多学生都做迁移学习方面的研究，更多请参考杨强老师主页。

2. Sinno J. Pan @ NTU

杨强老师学生，比较著名的工作是 TCA 方法。现在在 NTU 当老师，一直都在做迁移学习研究。代表工作：

A Survey On Transfer Learning. TKDE 2010. [最著名的综述]
Domain Adaptation via Transfer Component Analysis. TNNLS 2011. [著名的 TCA 方法]
Cross-domain sentiment classification via spectral feature alignment. WWW 2010. [著名的 SFA 方法]
Transferring Localization Models across Space. AAAI 2008.

3. Lixin Duan @ UESTC

毕业于 NTU，现在在 UESTC 当老师。代表工作：

Domain Transfer Multiple Kernel Learning. PAMI 2012.
Visual Event Recognition in Videos by Learning from Web Data. PAMI 2012.

4. Mingsheng Long @ THU

毕业于清华大学，现在在清华大学当老师，一直在做迁移学习方面的工作。代表工作：

Dual Transfer Learning. SDM 2012. Transfer Feature Learning with Joint Distribution Adaptation. ICCV 2013.
Transfer Joint Matching for Unsupervised Domain Adaptation. CVPR 2014.
Learning transferable features with deep adaptation networks. ICML 2015. [著名的 DAN 方法]
Deep Transfer Learning with Joint Adaptation Networks. ICML 2017.

5. Judy Hoffman @ UC Berkeley & Stanford

Feifei Li 的博士后，现在当老师。她有个学生叫做 Eric Tzeng，做深度迁移学习。代表工作：

Simultaneous Deep Transfer Across Domains and Tasks. ICCV 2015.
Deep Domain Confusion: Maximizing for Domain Invariance. arXiv 2014.
Adversarial Discriminative Domain Adaptation. CVPR 2017.

6. Fuzhen Zhuang @ ICT, CAS

中科院计算所当老师，主要做迁移学习与文本结合的研究。代表工作：

Transfer Learning from Multiple Source Domains via Consensus Regularization. CIKM 2008.

7. Kilian Q. Weinberger @ Cornell U.

现在康奈尔大学当老师。Minmin Chen是他的学生。代表工作：

Distance metric learning for large margin nearest neighbor classification. JMLR 2009.
Feature hashing for large scale multitask learning. ICML 2009.
An introduction to nonlinear dimensionality reduction by maximum variance unfolding. AAAI 2006. [著名的 MVU 方法]
Co-training for domain adaptation. NIPS 2011. [著名的 Co-training 方法]

8. Fei Sha @ USC USC

教授。他曾经的学生Boqing Gong提出了著名的 GFK 方法。代表工作：

Connecting the Dots with Landmarks: Discriminatively Learning Domain-Invariant Features for Unsupervised Domain Adaptation. ICML 2013.
Geodesic flow kernel for unsupervised domain adaptation. CVPR 2012. [著名的 GFK 方法]

9. Mahsa Baktashmotlagh @ U. Queensland

现在当老师。主要做流形学习与 domain adaptation 结合。代表工作：

Unsupervised Domain Adaptation by Domain Invariant Projection. ICCV 2013.
Domain Adaptation on the Statistical Manifold. CVPR 2014.
Distribution-Matching Embedding for Visual Domain Adaptation. JMLR 2016.

10. Baochen Sun @ Microsoft

现在在微软。著名的 CoRAL 系列方法的作者。代表工作：

Return of Frustratingly Easy Domain Adaptation. AAAI 2016.
Deep coral: Correlation alignment for deep domain adaptation. ECCV 2016.

Wenyuan Dai

著名的第四范式创始人，虽然不做研究了，但是当年求学时几篇迁移学习文章至今都很高引。代表工作：

Boosting for transfer learning. ICML 2007. [著名的 TrAdaboost 方法]

Self-taught clustering. ICML 2008.

二、理论研究

1. Arthur Gretton @ UCL

主要做 two-sample test。代表工作：

A Kernel Two-Sample Test. JMLR 2013.

Optimal kernel choice for large-scale two-sample tests. NIPS 2012. [著名的 MK-MMD]

2. Shai Ben-David @ U.Waterloo

很多迁移学习的理论工作由他给出。代表工作：

Analysis of representations for domain adaptation. NIPS 2007.
A theory of learning from different domains. Machine Learning 2010.

3. Alex Smola @ CMU

做一些机器学习的理论工作，和上面两位合作比较多。代表工作非常多，不列了。

4. John Blitzer @ Google

著名的 SCL 方法提出者，现在也在做机器学习。代表工作：

Domain adaptation with structural correspondence learning. ECML 2007. [著名的 SCL 方法]

5. Yoshua Bengio @ U.Montreal

深度学习领军人物，主要做深度迁移学习的一些理论工作。代表工作：

Deep Learning of Representations for Unsupervised and Transfer Learning. ICML 2012.
How transferable are features in deep neural networks? NIPS 2014.
Unsupervised and Transfer Learning Challenge: a Deep Learning Approach. ICML 2012.

6. Geoffrey Hinton @ U.Toronto

深度学习领军人物，也做深度迁移学习的理论工作。

Distilling the knowledge in a neural network. NIPS 2014.

三、参考资料

1. 王晋东《迁移学习简明手册》(PDF版) https://www.labxing.com/files/lab_publications/615-1533737180-LiEa0mQe.pdf#page=82&zoom=100,120,392

2. 《迁移学习简明手册》发布啦！ https://zhuanlan.zhihu.com/p/35352154