【NeurIPS 2024】LLM-ESR:用大语言模型破解序列推荐的长尾难题

标题 期刊 年份 关键词
LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation NeurIPS 2024 Large Language Models, Sequential Recommendation, Long-tailed

📚研究背景

在电商和社交媒体的世界里,序列推荐系统(Sequential Recommendation Systems, SRS)就像一个贴心的购物助手,它通过分析用户的历史行为来预测他们接下来可能感兴趣的商品。🛍️ 但现实很骨感**,大多数用户只和少数商品打过交道,而大部分商品也鲜少被问津,这就形成了所谓的"长尾问题"**。这对于推荐系统来说,简直就是一场"灾难",因为它不仅影响用户体验,还让商家的长尾商品失去了曝光的机会。😱

🧩相关工作

其实,之前的研究者们也尝试过解决这个问题。有的通过分析热门和长尾商品的共现模式来丰富长尾商品的表示 ,有的则通过数据增强来为长尾用户增加伪交互 。不过,这些方法要么会引发"跷跷板效应",要么因为用户相似度不准确而引入噪声。😩

🎯LLM-ESR的创新

LLM-ESR它提出了一个全新的框架,用LLM的语义嵌入来增强传统的SRS,而且完全不用担心LLM带来的额外推理负担。🧠

  • 双视图建模框架 :它同时从语义视角和协同视角建模用户偏好 。**语义视角利用LLM的语义嵌入来捕捉长尾物品的特征,++而协同视角则保留了传统SRS对热门物品的推荐能力++。**👀

  • 检索增强自蒸馏:对于长尾用户,LLM-ESR通过检索与目标用户语义相似的用户,并利用他们的交互信息来增强目标用户的偏好表示,就像是给长尾用户"借"了一些有用的信息。🔍

🎯 LLM-ESR的核心方法

LLM-ESR的核心思想是利用大语言模型(LLM)的语义能力来增强传统的序列推荐系统,同时避免引入额外的推理负担。它通过以下两大模块实现:

💡 1. 双视图建模框架(Dual-view Modeling Framework)

这个框架的核心是同时从语义视角协同视角建模用户偏好:

  • 语义视角(Semantic View):通过LLM对物品的属性(如标题、品牌、描述等)进行编码,生成语义嵌入。这些嵌入能够捕捉物品的语义信息,从而更好地推荐长尾物品。📝

  • 协同视角(Collaborative View):利用传统的协同过滤方法,通过用户的历史交互数据学习物品的嵌入。这部分专注于热门物品的推荐能力。📈

双视图融合:通过跨注意力机制(Cross-Attention)将语义嵌入和协同嵌入进行融合,让模型同时学习到语义信息和用户行为模式。这样既能利用LLM的强大语义理解能力,又能保留传统SRS对热门物品的推荐优势。🔗

💡 2. 检索增强自蒸馏(Retrieval-Augmented Self-Distillation)

对于长尾用户,由于他们的交互记录较少,模型很难准确捕捉到他们的偏好。LLM-ESR通过以下步骤解决这个问题:

  • 检索相似用户利用LLM生成的用户语义嵌入,检索与目标用户语义相似的其他用户。🔍

  • 自蒸馏:将这些相似用户的交互信息作为"指导信号",通过自蒸馏(Self-Distillation)的方式增强目标用户的偏好表示。这相当于"借"来了相似用户的信息,帮助模型更好地理解长尾用户的偏好。🔋

🔬实验

作者在Yelp、Amazon Fashion和Amazon Beauty这三个真实世界的数据集上进行了测试,结果表明LLM-ESR在所有指标上都超越了现有的基线方法,尤其是对长尾用户和长尾物品的推荐效果提升显著。📈

相关推荐
碣石潇湘无限路33 分钟前
【AI篇】当Transformer模型开始学习《孙子兵法》
人工智能·学习
看到我,请让我去学习44 分钟前
OpenCV开发-初始概念
人工智能·opencv·计算机视觉
汀沿河44 分钟前
8.1 prefix Tunning与Prompt Tunning模型微调方法
linux·运维·服务器·人工智能
陈敬雷-充电了么-CEO兼CTO1 小时前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
学术 学术 Fun1 小时前
✨ OpenAudio S1:影视级文本转语音与语音克隆Mac整合包
人工智能·语音识别
风铃喵游2 小时前
让大模型调用MCP服务变得超级简单
前端·人工智能
booooooty2 小时前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba
PyAIExplorer2 小时前
基于 OpenCV 的图像 ROI 切割实现
人工智能·opencv·计算机视觉
风口猪炒股指标3 小时前
技术分析、超短线打板模式与情绪周期理论,在市场共识的形成、分歧、瓦解过程中缘起性空的理解
人工智能·博弈论·群体博弈·人生哲学·自我引导觉醒
ai_xiaogui3 小时前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装