【推荐系统】MMOE笔记 20231126

paper阅读

任务差异带来的固有冲突实际上会损害至少某些任务的预测,特别是当模型参数在所有任务之间广泛共享时。(在说ESMM)

共享底层参数可以减少过拟合风险,但是会遇到任务差异引起的优化冲突,因为所有任务都需要在共享底层上使用相同的参数。(在说ESMM)

对于任务是否相关,MMOE不敏感,而ESMM和OMOE很敏感。

在两个任务相同的极端情况下,MMoE 模型和 OMoE 模型的性能几乎没有差异;

当任务之间的相关性降低时,OMoE 模型的性能明显下降,而对 MMoE 模型的影响很小。

5.2 Trainability

探讨MMOE是否容易训练。举了个例子,认为比普通 RNN 表现更好的一些门控 RNN 模型(如 LSTM 和 GRU)只是更容易训练,而不是具有更好的模型能力。

6.2 mmoe可以调整的参数

MMOE:Number of experts, number of hidden units per expert(专家数量,每个专家的隐藏单元数量)

利用验证集中,主要任务的AUC来做参数调整。

实验部分

table1的解释

鉴于任务相关性(通过皮尔逊相关性粗略测量)在两组中都不是很强,共享底部模型几乎总是多任务模型中最差的(张量因子化除外)。 L2-Constrained 和 Cross-Stitch 对于每个任务都有单独的模型参数,并添加了如何学习这些参数的约束,因此比 Shared-Bottom 表现更好。

然而,对模型参数学习的约束很大程度上依赖于任务关系假设,这不如 MMoE 使用的参数调制机制灵活。 因此,MMoE 在第 2 组中的所有方面都优于其他多任务模型,其中任务相关性甚至比第 1 组更小。

???皮尔逊相关系数越大越相关?是越大越相关。

那不是group2更相关吗?

单任务可以对辅助任务进行单独调参,所以辅助任务在多任务中没有单任务效果好,这种情况也会发生。

table4 说明

参与度(黏性)任务样本多,满意度任务样本少。

table4说明MMOE可以在大幅提高满意任务的同时,还能轻微调整参与任务,在置信区间水平为95%时。

indicates confidence interval level 95% 表示置信区间水平为95%

而esmm在提高满意度(辅助任务)时,会降低参与任务(主要任务)的指标。

相关推荐
X_StarX15 分钟前
【Unity笔记01】基于单例模式的简单UI框架
笔记·ui·unity·单例模式·游戏引擎·游戏开发·大学生
智者知已应修善业2 小时前
【51单片机用数码管显示流水灯的种类是按钮控制数码管加一和流水灯】2022-6-14
c语言·经验分享·笔记·单片机·嵌入式硬件·51单片机
孞㐑¥6 小时前
Linux之Socket 编程 UDP
linux·服务器·c++·经验分享·笔记·网络协议·udp
sealaugh328 小时前
aws(学习笔记第四十八课) appsync-graphql-dynamodb
笔记·学习·aws
freexyn11 小时前
Matlab自学笔记六十一:快速上手解方程
数据结构·笔记·matlab
很小心的小新11 小时前
12、jvm运行期优化
java·开发语言·jvm·笔记
寻丶幽风13 小时前
论文阅读笔记——NoPoSplat
论文阅读·笔记·三维重建·3dgs·相机位姿·dustr
西岭千秋雪_16 小时前
Redis缓存架构实战
java·redis·笔记·学习·缓存·架构
XvnNing16 小时前
【Verilog硬件语言学习笔记4】FPGA串口通信
笔记·学习·fpga开发
海棠蚀omo16 小时前
C++笔记-位图和布隆过滤器
开发语言·c++·笔记