多场景建模:阿里STAR

多场景建模:阿里STAR

阿里提出了Partitioned Normalization、Star Topology FCN、Auxiliary Network应用到多场景建模,在各个场景上面取得不错的效果。

两个场景:

  1. 淘宝主页的banner,展示一个商品或者一个店铺或者一个品牌
  2. 猜你喜欢:双列的形式展示商品流

不同场景的user和item有重叠,但是user在不用的场景行为模式是不同的,简单将所有样本混合在一起训练一个共享的模型无法处理这样不同数据分布的多个场景。如果每个场景单独整一个模型,缺点显而易见:小场景的数据较少,模型很难学;场景多了后维护多个模型资源消耗和人力成本不可接受。

多任务学习针对的是数据分布相同,但是各个任务目标的label空间不同。基于此,现在的多任务学习都是基于底层的共享,但是保持任务输出层的独立性。直接应用多任务学习到多场景学习上面无法充分利用场景之间的关系,而且忽略了多个场景的数据分布差异。

总体结构如下

PN

为了加速训练及训练的稳定性,通常是对embedding进行batch内归一化normalization, γ \gamma γ和 β \beta β是可学习的缩放和偏差参数, μ \mu μ和 σ 2 \sigma^2 σ2是batch内的均值和方差,测试阶段,使用移动平均统计的均值 E E E和方差 V a r Var Var来替换。BN假设所有样本服从独立同分布,但是多场景中,这个假设就不成立了,各个场景内的样本服从本场景的独立同分布。
z ' = γ z − E V a r + ϵ + β \mathbf z' = \gamma \frac{\mathbf z - E}{\sqrt{Var + \epsilon}} + \beta z'=γVar+ϵ z−E+β

提出partitioned normalization (PN) 来解决,训练时每个batch来自第 p p p个场景, γ \gamma γ和 β \beta β是全局的缩放和偏差参数, γ p \gamma_p γp和 β p \beta_p βp是场景相关的缩放和偏差参数,在测试阶段,也使用各场景移动平均的均值 E p E_p Ep和方差 V a r p Var_p Varp来替换。

z ' = ( γ ∗ γ p ) z − E p V a r p + ϵ + β p + β \mathbf z' = (\gamma * \gamma_p) \frac{\mathbf z - E_p}{\sqrt{Var_p + \epsilon}} + \beta_p + \beta z'=(γ∗γp)Varp+ϵ z−Ep+βp+β

从消融分析上看,STAR FCN叠加LN比BN好,PN比LN好

Star Topology FCN

有一个共享的FCN,每个场景有一个单独的FCN网络,使用 W ∈ R c × d W\in R^{c \times d} W∈Rc×d和 W p ∈ R c × d W_p \in R^{c \times d} Wp∈Rc×d以及 b ∈ R d b \in R^d b∈Rd和 b p i n R d b_p in R^d bpinRd分别表示共享FCN和场景 p p p的FCN网络的权重和偏差,第 p p p个场景最终的FCN权重 W ∗ W^* W∗表示为
W ∗ = W ⊗ W p ; b ∗ = b p + b W^* = W \otimes W_p; b^* = b_p + b W∗=W⊗Wp;b∗=bp+b

场景 p p p的FCN网络输出 o u t p ∈ R d out_p \in R^d outp∈Rd计算如下
o u t p = φ ( ( W ∗ ) T i n p + b p ∗ ) out_p = \varphi ( (W^*)^Tin_p + b_p^* ) outp=φ((W∗)Tinp+bp∗)

这里增加的FCN网络的参数相对于整体参数基本忽略不计。

结构示意图

从消融分析看,基础模型加PN结果好于基础模型加BN,STAR FCN加BN好于基础模型加BN,STAR FCN加PN好于STAR FCN加BN。

Auxiliary Network

辅助网络是为了学习场景之间的差异的,一般所有特征都是同等的丢到模型中去学习,但是经过复杂的模型之后,还是很难学到场景之间的差异。直接将场景标识ID的embedding和其他特征embedding拼接起来作为辅助网络的输入,经过一个简单的2层FCN,输出一维的logit结果 s a s_a sa,然后加到指定场景的logit上面 s p s_p sp得到最后的logit,经过激活函数得到预估结果。
y ^ p = s i g m o i d ( s p + s a ) \hat{y}_p = sigmoid(s_p + s_a) y^p=sigmoid(sp+sa)

从消融分析上看,加辅助网络比不加更好,说明辅助网络的确学到了场景之间的差异。

最终loss

m i n ∑ p = 1 M ∑ i = 1 N p − y i p log ⁡ y ^ i p − ( 1 − y i p ) log ⁡ ( 1 − y ^ i p ) min \sum_{p=1}^M \sum_{i=1}^{N_p} -y_i^p \log \hat{y}_i^p - (1-y_i^p) \log (1-\hat{y}_i^p) minp=1∑Mi=1∑Np−yiplogy^ip−(1−yip)log(1−y^ip)

评估指标

GAUC 即每个用户的加权AUC
A U C = ∑ i n # i m p r e s s i o n i × A U C i ∑ i n # i m p r e s s i o n i \rm AUC = \frac{\sum_i^n \rm \#impression_i \times AUC_i}{\sum_i^n\#impression_i} AUC=∑in#impressioni∑in#impressioni×AUCi

OverAll AUC

混合所有样本在一起计算的AUC

测试用到了19个场景

各场景表现

相关推荐
会的全对٩(ˊᗜˋ*)و6 分钟前
【数据挖掘】数据挖掘综合案例—银行精准营销
人工智能·经验分享·python·数据挖掘
云渚钓月梦未杳9 分钟前
深度学习03 人工神经网络ANN
人工智能·深度学习
在美的苦命程序员12 分钟前
中文语境下的视频生成革命:百度 MuseSteamer 的“产品级落地”启示录
人工智能·百度
kngines28 分钟前
【字节跳动】数据挖掘面试题0007:Kmeans原理,何时停止迭代
人工智能·数据挖掘·kmeans
Kali_0731 分钟前
使用 Mathematical_Expression 从零开始实现数学题目的作答小游戏【可复制代码】
java·人工智能·免费
贾全37 分钟前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人
每日摸鱼大王42 分钟前
互联网摸鱼日报(2025-07-01)
人工智能
GIS小天1 小时前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年7月4日第128弹
人工智能·算法·机器学习·彩票
我是小哪吒2.01 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
慕婉03071 小时前
深度学习前置知识全面解析:从机器学习到深度学习的进阶之路
人工智能·深度学习·机器学习