论文笔记:Large language model augmented narrative driven recommendations

RecSys 2023

代码:iesl/narrative-driven-rec-mint: Mint: A data augmentation method for narrative driven recommendation.

1 intro

  • 尽管基于历史交互的数据能够有效地提供推荐,但用户在请求推荐时,往往只是对目标物品有一个模糊的概念,或者希望推荐结果能够根据其使用情境而变化,而这些上下文信息通常在历史交互数据中缺失
    • 用户常常会通过长篇叙述式查询 (long-form narrative queries)来描述他们的广泛兴趣和情境,从而请求推荐。这类信息访问任务被称为叙述驱动推荐(Narrative-Driven Recommendation, 简称 NDR)
    • 这类叙述性请求在讨论论坛和某些 Reddit 子版块中非常常见,但现有推荐系统对这种复杂自然语言查询的支持仍然严重不足
  • 相较于传统的搜索接口,用户使用自然语言表达复杂主观需求的情况正在显著增加
  • 具有强大语言理解能力的大语言模型(LLMs)的出现,也为满足此类复杂请求带来了可能
  • 论文探索如何将传统用于协同过滤推荐器训练的历史用户-物品交互数据集,重新利用于支持 NDR 任务

2 问题定义

3 方法

  • 核心思想是重新利用丰富的用户 - 物品交互数据集 I,借助大语言模型(LLM)生成叙述式查询 qu,从而构造训练数据

3.1 使用 LLM 生成叙述式查询

  • 为了为用户 - 物品交互 数据集 I中的每位用户生成叙述式查询 qu,使用InstructGPT 模型作为查询生成器 Qgen

  • 将用户与项目交互所得的文本作为 QGen 的 prompt,并指示模型生成一个叙述式查询


LLM根据用户的偏好和评论,模拟这位用户可能在 Reddit 上发出的请求性帖文

3.2 为合成查询筛选项目

  • 核心意思是:生成出来的叙述式查询(narrative query)可能无法代表用户所有兴趣 ,所以需要对用户的项目集合进行筛选,只保留那些与生成的查询最相关的项目 ,来训练检索模型
    • 如果你用用户的全部项目来训练模型,会加入很多与当前查询无关的项目,这会增加噪声、降低训练效果。
  • ------>

3.3 检索模型训练

  • 基于上述合成数据训练了 bi-encodercross-encoder 两种模型
    • Bi-encoder 通常作为第一阶段排序器,能够从大规模项目集合中高效检索
    • Cross-encoder 则允许更丰富的查询-项目交互,常用于 reranking 阶段。
    • 在这两种模型中均使用了一个参数规模为 110M 的预训练 Transformer 模型 MPNet,其结构类似于 BERT。
  • 在 bi-encoder 中,查询和项目分别编码为高维向量:
    • 通过L2 距离对项目进行排序
  • 在 cross-encoder 中,模型同时接收查询和项目作为输入,输出一个打分:
  • 损失函数
  • 测试阶段
    • 先用训练好的 bi-encoder 检索前 200 个项目,再用 cross-encoder 对其重新排序。
    • 实验中对这两个阶段分别评估,分别命名为 BiEnc-MintCrEnc-Mint

4 实验

4.1 数据

  • 使用Pointrec进行评估
    • 包含 112 个真实的叙述式查询
    • 这些项目由众包工人和/或论坛成员进行了分级相关性标注,并经数据集作者进一步验证
    • 目前这是唯一公开的、带人工标注和候选池的 NDR 测试集
  • 项目集合 CCC 包含约 70 万个 POI,每个 POI 提供元信息(如类别、城市)和从 Bing 搜索引擎抓取的简略描述
    • 仅对与查询相关城市与类别(如"餐厅")中的候选项目进行排序,遵循先前工作中避免无关项目干扰的做法
  • 使用 Yelp 的用户-物品交互数据 生成合成查询用于训练
    • 排除所有评论数少于 10 的用户和 POI ,确保所选用户为高活跃度用户
      • 这一筛选步骤参考了用户-物品推荐系统中常见的预处理流程
    • 保留评分平均值大于 3/5 且有 10-30 条高于平均值评论的用户,以偏向那些更擅长表达喜好(而非厌恶)的用户
      • 这些用户的兴趣也更适合通过生成器建模。最终筛选后,Yelp 数据集中保留了 45,193 个用户
    • 从中随机选出 10,000 位用户生成合成查询。对每位用户,我们从其 10 条评论中随机选一句话,组成 prompt
    • 最终生成约 60,000 条训练样本
      • 生成所有查询的成本约为 230 美元

4.2 结果

相关推荐
白-胖-子3 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手4 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道5 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.05 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12016 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师6 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen6 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域6 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木6 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
凪卄12137 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm