【论文阅读】多任务学习起源类论文《Multi-Task Feature Learning》

多任务特征学习

前言

该论文提出了一种通过低纬度表征多任务共性 的方法.通过建立一个1维范式问题将多任务共同学习特征数进行正则化.这个问题等价于一个凸优化问题,用迭代算法进行求解.整个算法可以理解为非监督模块与监督模块,前者学习多任务的共同表征,后者使用该表征学习每个任务的目标.

论文获取

作者:Andreas Argyriou, Theodoros Evgeniou, Massimiliano Pontil

会议/期刊:Advances in Neural Information Processing Systems (NeurIPS), 2007

1、背景假设

定义特征维度为d,任务数为T, a i t a_{it} ait是第i个特征对任务t的回归参数,假设任务与特征之间的回归参数少许为0 ,也就是说特征维度里大多数与大部分任务都有关.

假设共享特征均为线性

,扩展为非线性可以表示为

,这样多任务的非线性特征W=U A,A为参数 a i t a_{it} ait的矩阵,我们知道a有些许为0,这意味着A有些行为0,W为低秩矩阵.

2、一范式问题

我们目标是求解共享特征u与回归参数a,首先固定u与任务t,可以得到其优化目标函数如下所示,因为问题较难求解,所以增加了a的一范式 .

扩展到全部任务上得到

3、凸优函数

求解上式子是一项具有挑战性的任务,尽管在变量A和U中分别是凸的,整体上这是一个非凸问题。其次,范数不光滑,这使得求解变得更加困难。通过变换,得到下式子是一个凸函数问题(比较老的论文,证明不再展开)

这样,固定D,我们可以通过svm,或者回归类的方法求取w,然后再更新D,如此循环直到收敛,其具体求解过程如下所示:初始化D,W,输入x,y,遍历任务求取w,更新D(更新值的方式是通过低秩矩阵分解得到 ),然后重复求取w过程,直到满足收敛条件.

4、实验

这里主要注意一下实验所用的数据是180个人对20电脑品牌的倾向性,这个数据放到现在来说不算严格的多任务学习了,现在的多任务学习里任务间的差异会更大,比如同时预测销售额与销售量.因此不再展开讨论实验结果.值得注意的是该论文启发了许多基于稀疏性和低秩约束的后续研究.

相关推荐
im_AMBER2 小时前
学习日志19 python
python·学习
_Kayo_6 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
chenchihwen6 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
超浪的晨6 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
悠哉悠哉愿意8 小时前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
快乐肚皮8 小时前
ZooKeeper学习专栏(五):Java客户端开发(原生API)详解
学习·zookeeper·java-zookeeper
慕y2748 小时前
Java学习第七十二部分——Zookeeper
java·学习·java-zookeeper
★YUI★9 小时前
学习游戏制作记录(剑投掷技能)7.26
学习·游戏·unity·c#
蓝桉80210 小时前
opencv学习(图像金字塔)
人工智能·opencv·学习
rannn_11110 小时前
Java学习|黑马笔记|Day23】网络编程、反射、动态代理
java·笔记·后端·学习