DIN模型和SIM模型原理与实践

文章目录

1.DIN模型

原理

  • 计算用户Last N向量的加权平均
  • 权重是候选物品与Last N物品的相似度

缺点

  • 注意力层的计算量正比于n(用户行为序列的长度)
  • 只能记录最近的几百个物品,否则计算量太大
  • 只关心短期兴趣,会遗忘长期兴趣

2.SIM模型

对长期兴趣建模

原理

  • 对用户长期行为记录,n大小可以是几千
  • 对于每个候选物品,在用户Last N记录中快速查找,找到k个相似物品
  • 把Last N变成TopK,然后输入注意力层
  • 计算量从n降到k

算法步骤

1.查找

2.注意力机制

对比DIN,user侧的LastN交互记录 被换成了上一步查找到的TopK交互记录



参考文献

王树森推荐系统公开课-SIM模型
SIM论文
DIN论文

相关推荐
hh.h.8 小时前
昇腾CANN ops-transformer 仓的 MC2 算子:MoE 模型的全到全通信
python·深度学习·transformer·cann
5201-8 小时前
ops-conv:卷积算子从 CPU 到昇腾 NPU 的优化之路
人工智能·深度学习
硅谷秋水9 小时前
智体Harness工程:综述(下)
人工智能·深度学习·机器学习·语言模型
h64648564h10 小时前
CANN 昇腾 FP16 vs FP32 精度博弈:深度学习数值精度实战指南
人工智能·深度学习
T.i.s11 小时前
parall scan(并行扫描)通俗理解
人工智能·深度学习
h64648564h11 小时前
CANN 昇腾训练食谱全景解读:cann-recipes-train 架构与使用指南
人工智能·深度学习
灰灰勇闯IT12 小时前
DeepSeek-R1 在 CANN 上的推理部署
pytorch·python·深度学习
努力学习_小白12 小时前
Inception V1——学习记录
pytorch·深度学习·inception v1
星河耀银海14 小时前
人工智能:注意力机制与Transformer模型实战
人工智能·深度学习·transformer
生成论实验室14 小时前
用事件关系网络重新理解AI:自注意力机制、词向量、CNN、GAN、强化学习、Dropout、知识蒸馏
人工智能·深度学习·语言模型·机器人·自动驾驶