论文笔记:Large language model augmented narrative driven recommendations

RecSys 2023

代码:iesl/narrative-driven-rec-mint: Mint: A data augmentation method for narrative driven recommendation.

1 intro

  • 尽管基于历史交互的数据能够有效地提供推荐,但用户在请求推荐时,往往只是对目标物品有一个模糊的概念,或者希望推荐结果能够根据其使用情境而变化,而这些上下文信息通常在历史交互数据中缺失
    • 用户常常会通过长篇叙述式查询 (long-form narrative queries)来描述他们的广泛兴趣和情境,从而请求推荐。这类信息访问任务被称为叙述驱动推荐(Narrative-Driven Recommendation, 简称 NDR)
    • 这类叙述性请求在讨论论坛和某些 Reddit 子版块中非常常见,但现有推荐系统对这种复杂自然语言查询的支持仍然严重不足
  • 相较于传统的搜索接口,用户使用自然语言表达复杂主观需求的情况正在显著增加
  • 具有强大语言理解能力的大语言模型(LLMs)的出现,也为满足此类复杂请求带来了可能
  • 论文探索如何将传统用于协同过滤推荐器训练的历史用户-物品交互数据集,重新利用于支持 NDR 任务

2 问题定义

3 方法

  • 核心思想是重新利用丰富的用户 - 物品交互数据集 I,借助大语言模型(LLM)生成叙述式查询 qu,从而构造训练数据

3.1 使用 LLM 生成叙述式查询

  • 为了为用户 - 物品交互 数据集 I中的每位用户生成叙述式查询 qu,使用InstructGPT 模型作为查询生成器 Qgen

  • 将用户与项目交互所得的文本作为 QGen 的 prompt,并指示模型生成一个叙述式查询


LLM根据用户的偏好和评论,模拟这位用户可能在 Reddit 上发出的请求性帖文

3.2 为合成查询筛选项目

  • 核心意思是:生成出来的叙述式查询(narrative query)可能无法代表用户所有兴趣 ,所以需要对用户的项目集合进行筛选,只保留那些与生成的查询最相关的项目 ,来训练检索模型
    • 如果你用用户的全部项目来训练模型,会加入很多与当前查询无关的项目,这会增加噪声、降低训练效果。
  • ------>

3.3 检索模型训练

  • 基于上述合成数据训练了 bi-encodercross-encoder 两种模型
    • Bi-encoder 通常作为第一阶段排序器,能够从大规模项目集合中高效检索
    • Cross-encoder 则允许更丰富的查询-项目交互,常用于 reranking 阶段。
    • 在这两种模型中均使用了一个参数规模为 110M 的预训练 Transformer 模型 MPNet,其结构类似于 BERT。
  • 在 bi-encoder 中,查询和项目分别编码为高维向量:
    • 通过L2 距离对项目进行排序
  • 在 cross-encoder 中,模型同时接收查询和项目作为输入,输出一个打分:
  • 损失函数
  • 测试阶段
    • 先用训练好的 bi-encoder 检索前 200 个项目,再用 cross-encoder 对其重新排序。
    • 实验中对这两个阶段分别评估,分别命名为 BiEnc-MintCrEnc-Mint

4 实验

4.1 数据

  • 使用Pointrec进行评估
    • 包含 112 个真实的叙述式查询
    • 这些项目由众包工人和/或论坛成员进行了分级相关性标注,并经数据集作者进一步验证
    • 目前这是唯一公开的、带人工标注和候选池的 NDR 测试集
  • 项目集合 CCC 包含约 70 万个 POI,每个 POI 提供元信息(如类别、城市)和从 Bing 搜索引擎抓取的简略描述
    • 仅对与查询相关城市与类别(如"餐厅")中的候选项目进行排序,遵循先前工作中避免无关项目干扰的做法
  • 使用 Yelp 的用户-物品交互数据 生成合成查询用于训练
    • 排除所有评论数少于 10 的用户和 POI ,确保所选用户为高活跃度用户
      • 这一筛选步骤参考了用户-物品推荐系统中常见的预处理流程
    • 保留评分平均值大于 3/5 且有 10-30 条高于平均值评论的用户,以偏向那些更擅长表达喜好(而非厌恶)的用户
      • 这些用户的兴趣也更适合通过生成器建模。最终筛选后,Yelp 数据集中保留了 45,193 个用户
    • 从中随机选出 10,000 位用户生成合成查询。对每位用户,我们从其 10 条评论中随机选一句话,组成 prompt
    • 最终生成约 60,000 条训练样本
      • 生成所有查询的成本约为 230 美元

4.2 结果

相关推荐
xingshanchang4 小时前
PyTorch 不支持旧GPU的异常状态与解决方案:CUDNN_STATUS_NOT_SUPPORTED_ARCH_MISMATCH
人工智能·pytorch·python
reddingtons5 小时前
Adobe Firefly AI驱动设计:实用技巧与创新思维路径
大数据·人工智能·adobe·illustrator·photoshop·premiere·indesign
CertiK5 小时前
IBW 2025: CertiK首席商务官出席,探讨AI与Web3融合带来的安全挑战
人工智能·安全·web3
Deepoch6 小时前
Deepoc 大模型在无人机行业应用效果的方法
人工智能·科技·ai·语言模型·无人机
Deepoch6 小时前
Deepoc 大模型:无人机行业的智能变革引擎
人工智能·科技·算法·ai·动态规划·无人机
kngines6 小时前
【字节跳动】数据挖掘面试题0003:有一个文件,每一行是一个数字,如何用 MapReduce 进行排序和求每个用户每个页面停留时间
人工智能·数据挖掘·mapreduce·面试题
Binary_ey6 小时前
AR衍射光波导设计遇瓶颈,OAS 光学软件来破局
人工智能·软件需求·光学软件·光波导
昵称是6硬币6 小时前
YOLOv11: AN OVERVIEW OF THE KEY ARCHITECTURAL ENHANCEMENTS目标检测论文精读(逐段解析)
图像处理·人工智能·深度学习·yolo·目标检测·计算机视觉
平和男人杨争争7 小时前
机器学习2——贝叶斯理论下
人工智能·机器学习
静心问道7 小时前
XLSR-Wav2Vec2:用于语音识别的无监督跨语言表示学习
人工智能·学习·语音识别