推荐算法学习笔记2.2:基于深度学习的推荐算法-基于特征交叉组合+逻辑回归思路的深度推荐算法-Deep Crossing模型

  • Deep Crossing模型(微软,搜索引擎,广告推荐)

    前置知识:推荐算法学习笔记1.3:传统推荐算法-逻辑回归算法推荐算法学习笔记1.4:传统推荐算法-自动特征的交叉解决方案:FM→FFM
    本文含残差块反向传播梯度推导 (最后附录)

    背景概述:用户搜索关键词 → 返回搜索结果以及相关广告。

    导出问题:如何提高广告的点击率?

    输入:混合类型(类别型,数值型)特征。

    输出:点击概率。

    细化问题:

    ①如何解决类别型特征进行one-hot或multi-hot编码后的稀疏问题?

    ②如何进行自动特征组合?

    ③如何将得到理想的输出?

    解决方案:

    ①对类别型特征进行嵌入表示(引入了Embedding层)。

    ②通过Stacking层将多个特征进行堆叠(concatenate),利用神经网络的非线性特征组合能力进行自动特征组合(Multiple Residual Units层, 残差结构)。

    ③通过Scoring层输出点击概率(分类层)。

    附录:

    附1:残差结构

    残差结构通过让模型拟合残差而不是映射从而减少网络过拟合的现象发生。即前向传播如下

    h ( i + 1 ) = h ( i ) + σ i + 1 ( W i + 1 h ( i ) + b i + 1 ) \mathbf{h}^{(i+1)} = \mathbf{h}^{(i)}+\sigma^{i+1}(\mathbf{W}^{i+1}\mathbf{h}^{(i)}+b^{i+1}) h(i+1)=h(i)+σi+1(Wi+1h(i)+bi+1)

    其中假设 h ( i ) = σ i ( W i h ( i − 1 ) + b i ) \mathbf{h}^{(i)} = \sigma^{i}(\mathbf{W}^{i}\mathbf{h}^{(i-1)}+b^{i}) h(i)=σi(Wih(i−1)+bi),则 W i \mathbf{W}^i Wi的反向传播如下

    ∂ L o s s ∂ W i = ∂ L o s s ∂ h i + 1 ( ∂ h i ∂ W i + ∂ σ i + 1 ∂ ( W i + 1 h ( i ) + b i + 1 ) ( W i + 1 ) T ∂ h i ∂ W i ) = ∂ L o s s ∂ h i + 1 ∂ h i ∂ W i + ∂ L o s s ∂ h i + 1 ∂ σ i + 1 ∂ ( W i + 1 h ( i ) + b i + 1 ) ( W i + 1 ) T ∂ h i ∂ W i \frac{\partial Loss}{\partial \mathbf{W}^i}= \frac{\partial Loss}{\partial \mathbf{h}^{i+1}} (\frac{\partial \mathbf{h}^{i}}{\partial \mathbf{W}^i}+\frac{\partial \sigma^{i+1}}{\partial (\mathbf{W}^{i+1}\mathbf{h}^{(i)}+b^{i+1})}(\mathbf{W}^{i+1})^T\frac{\partial \mathbf{h}^{i}}{\partial \mathbf{W}^i}) \\ =\frac{\partial Loss}{\partial \mathbf{h}^{i+1}} \frac{\partial \mathbf{h}^{i}}{\partial \mathbf{W}^i}+\frac{\partial Loss}{\partial \mathbf{h}^{i+1}} \frac{\partial \sigma^{i+1}}{\partial (\mathbf{W}^{i+1}\mathbf{h}^{(i)}+b^{i+1})}(\mathbf{W}^{i+1})^T\frac{\partial \mathbf{h}^{i}}{\partial \mathbf{W}^i} ∂Wi∂Loss=∂hi+1∂Loss(∂Wi∂hi+∂(Wi+1h(i)+bi+1)∂σi+1(Wi+1)T∂Wi∂hi)=∂hi+1∂Loss∂Wi∂hi+∂hi+1∂Loss∂(Wi+1h(i)+bi+1)∂σi+1(Wi+1)T∂Wi∂hi

    从反向传播过程可以看出 W i \mathbf{W}^i Wi的梯度中第一项不会引入后续的参数矩阵 W i + 1 \mathbf{W}^{i+1} Wi+1,所以在一定程度避免了梯度消失的产生。

相关推荐
画个逗号给明天"11 分钟前
C#从入门到精通(5)
开发语言·笔记·c#
杉之36 分钟前
Java中的不可变集合
java·笔记·学习
郭涤生2 小时前
Chapter 5: The Standard Library (C++20)_《C++20Get the details》_notes
开发语言·c++·笔记·c++20
viperrrrrrrrrr72 小时前
大数据学习(95)-谓词下推
大数据·sql·学习
唔663 小时前
flutter 曲线学习 使用第三方插件实现左右滑动
javascript·学习·flutter
haoly19893 小时前
离散数学问题集--问题4.40
学习
cwtlw3 小时前
java基础知识面试题总结
java·开发语言·学习·面试
Caramel_biscuit4 小时前
STM32 CAN学习
stm32·嵌入式硬件·学习
cwtlw5 小时前
JavaRedis和数据库相关面试题
java·数据库·笔记·面试
DayDayUp..5 小时前
[算法学习笔记] 《Hello算法》第10章 搜索
笔记·学习