DIN模型和SIM模型原理与实践

文章目录

1.DIN模型

原理

  • 计算用户Last N向量的加权平均
  • 权重是候选物品与Last N物品的相似度

缺点

  • 注意力层的计算量正比于n(用户行为序列的长度)
  • 只能记录最近的几百个物品,否则计算量太大
  • 只关心短期兴趣,会遗忘长期兴趣

2.SIM模型

对长期兴趣建模

原理

  • 对用户长期行为记录,n大小可以是几千
  • 对于每个候选物品,在用户Last N记录中快速查找,找到k个相似物品
  • 把Last N变成TopK,然后输入注意力层
  • 计算量从n降到k

算法步骤

1.查找

2.注意力机制

对比DIN,user侧的LastN交互记录 被换成了上一步查找到的TopK交互记录



参考文献

王树森推荐系统公开课-SIM模型
SIM论文
DIN论文

相关推荐
大霸王龙5 分钟前
LLM(语言学习模型)行为控制技术
python·深度学习·学习
Peter11467178501 小时前
服务器入门操作1(深度学习)
服务器·人工智能·笔记·深度学习·学习
lisw059 小时前
DeepSeek原生稀疏注意力(Native Sparse Attention, NSA)算法介绍
人工智能·深度学习·算法
美狐美颜sdk13 小时前
美颜SDK兼容性挑战:如何让美颜滤镜API适配iOS与安卓?
android·深度学习·ios·美颜sdk·第三方美颜sdk·视频美颜sdk
HABuo13 小时前
【YOLOv8】YOLOv8改进系列(11)----替换主干网络之MobileNetV4
人工智能·深度学习·yolo·目标检测·计算机视觉
Kai HVZ14 小时前
《深度学习》——bert框架
人工智能·深度学习·bert
紫雾凌寒15 小时前
自然语言处理|金融舆情解析:智能事件抽取与风险预警之道
人工智能·深度学习·自然语言处理·金融·事件抽取·金融舆情·风险预警
进取星辰15 小时前
PyTorch 深度学习实战(30):模型压缩与量化部署
人工智能·pytorch·深度学习
小白的高手之路17 小时前
常用的卷积神经网络及Pytorch示例实现
人工智能·pytorch·python·深度学习·神经网络·cnn