多任务特征学习
前言
该论文提出了一种通过低纬度表征多任务共性 的方法.通过建立一个1维范式问题将多任务共同学习特征数进行正则化.这个问题等价于一个凸优化问题,用迭代算法进行求解.整个算法可以理解为非监督模块与监督模块,前者学习多任务的共同表征,后者使用该表征学习每个任务的目标.
作者：Andreas Argyriou, Theodoros Evgeniou, Massimiliano Pontil
会议/期刊：Advances in Neural Information Processing Systems (NeurIPS), 2007
1、背景假设
定义特征维度为d,任务数为T, a i t a_{it} ait是第i个特征对任务t的回归参数,假设任务与特征之间的回归参数少许为0 ,也就是说特征维度里大多数与大部分任务都有关.
假设共享特征均为线性
,扩展为非线性可以表示为
,这样多任务的非线性特征W=U A,A为参数 a i t a_{it} ait的矩阵,我们知道a有些许为0,这意味着A有些行为0,W为低秩矩阵.
2、一范式问题
我们目标是求解共享特征u与回归参数a,首先固定u与任务t,可以得到其优化目标函数如下所示,因为问题较难求解,所以增加了a的一范式 .
扩展到全部任务上得到
3、凸优函数
求解上式子是一项具有挑战性的任务，尽管在变量A和U中分别是凸的,整体上这是一个非凸问题。其次，范数不光滑，这使得求解变得更加困难。通过变换,得到下式子是一个凸函数问题(比较老的论文,证明不再展开)
这样,固定D,我们可以通过svm,或者回归类的方法求取w,然后再更新D,如此循环直到收敛,其具体求解过程如下所示:初始化D,W,输入x,y,遍历任务求取w,更新D(更新值的方式是通过低秩矩阵分解得到 ),然后重复求取w过程,直到满足收敛条件.
4、实验
这里主要注意一下实验所用的数据是180个人对20电脑品牌的倾向性,这个数据放到现在来说不算严格的多任务学习了,现在的多任务学习里任务间的差异会更大,比如同时预测销售额与销售量.因此不再展开讨论实验结果.值得注意的是该论文启发了许多基于稀疏性和低秩约束的后续研究.