【推荐系统】MMOE笔记 20231126

paper阅读

任务差异带来的固有冲突实际上会损害至少某些任务的预测,特别是当模型参数在所有任务之间广泛共享时。(在说ESMM)

共享底层参数可以减少过拟合风险,但是会遇到任务差异引起的优化冲突,因为所有任务都需要在共享底层上使用相同的参数。(在说ESMM)

对于任务是否相关,MMOE不敏感,而ESMM和OMOE很敏感。

在两个任务相同的极端情况下,MMoE 模型和 OMoE 模型的性能几乎没有差异;

当任务之间的相关性降低时,OMoE 模型的性能明显下降,而对 MMoE 模型的影响很小。

5.2 Trainability

探讨MMOE是否容易训练。举了个例子,认为比普通 RNN 表现更好的一些门控 RNN 模型(如 LSTM 和 GRU)只是更容易训练,而不是具有更好的模型能力。

6.2 mmoe可以调整的参数

MMOE:Number of experts, number of hidden units per expert(专家数量,每个专家的隐藏单元数量)

利用验证集中,主要任务的AUC来做参数调整。

实验部分

table1的解释

鉴于任务相关性(通过皮尔逊相关性粗略测量)在两组中都不是很强,共享底部模型几乎总是多任务模型中最差的(张量因子化除外)。 L2-Constrained 和 Cross-Stitch 对于每个任务都有单独的模型参数,并添加了如何学习这些参数的约束,因此比 Shared-Bottom 表现更好。

然而,对模型参数学习的约束很大程度上依赖于任务关系假设,这不如 MMoE 使用的参数调制机制灵活。 因此,MMoE 在第 2 组中的所有方面都优于其他多任务模型,其中任务相关性甚至比第 1 组更小。

???皮尔逊相关系数越大越相关?是越大越相关。

那不是group2更相关吗?

单任务可以对辅助任务进行单独调参,所以辅助任务在多任务中没有单任务效果好,这种情况也会发生。

table4 说明

参与度(黏性)任务样本多,满意度任务样本少。

table4说明MMOE可以在大幅提高满意任务的同时,还能轻微调整参与任务,在置信区间水平为95%时。

indicates confidence interval level 95% 表示置信区间水平为95%

而esmm在提高满意度(辅助任务)时,会降低参与任务(主要任务)的指标。

相关推荐
Dream Algorithm24 分钟前
“量子通信”
笔记·信息与通信·量子计算
KD杜小帅1 小时前
日志分析-windows日志分析base--笔记ing
笔记
Fine姐2 小时前
博弈论03——混合纳什均衡的收益求法
笔记·算法
孞㐑¥2 小时前
Linux之网络部分-应用层协议 HTTP
linux·开发语言·c++·经验分享·笔记
Jay Kay4 小时前
从0到1理解大语言模型:读《大语言模型:从理论到实践(第2版)》笔记
人工智能·笔记·语言模型
KD杜小帅4 小时前
2025年Solar应急响应公益月赛-7月笔记ing
笔记
Star在努力5 小时前
15-C语言:第15~16天笔记
c语言·笔记·算法
ZY小袁7 小时前
MGRE综合实验
服务器·网络·笔记·网络安全·学习方法·信息与通信·p2p
一位搞嵌入式的 genius7 小时前
暑期自学嵌入式——Day10(C语言阶段)
linux·笔记·学习·嵌入式c语言
被遗忘的旋律.7 小时前
Linux驱动开发笔记(五)——设备树(上)
linux·驱动开发·笔记