推荐系统里真的存在“反馈循环”吗?

推荐系统里真的存在"反馈循环"吗?

许多人说,推荐算法不过是把用户早已存在的兴趣挖掘出来,你本来就爱听流行歌、买潮牌玩具,系统只是在合适的时间把它们端到你面前,再怎么迭代,算法也改变不了人的天性,反馈循环像是研究者们的学术噱头。

我第一次认真思考这个问题的时候,是为了搞清楚推荐系统里的偏差放大(Bias Amplification)效应。

何向南的这个图示强调了推荐系统的偏差(曝光偏差、流行度偏差等)会在后续迭代中被连锁放大,最终表现为热门更热门、冷门愈冷门的马太效应,或其他不公平问题。

若不打破偏差的循环放大机制,推荐系统的性能就会持续恶化。

不少研究都认识到,在推荐服务阶段通过强化学习平衡探索与利用,以避免流行度偏差过度积累。

"试错"是强化学习探索与利用权衡中的一个核心理念,描述了推荐系统与用户进行交互并迭代更新策略的过程。

试错时,推荐策略会进行探索性的推荐,根据用户反馈来评判探索效果。随着时间的推移,探索行为能够试验出哪些项目能给带来更高的用户满意度,作为推荐策略更新的依据。

这是强化推荐算法与传统推荐算法相比的主要优势之一,它考虑到了推荐问题的交互性。

我们可以提炼出,在试错过程中,用户和推荐模型之间存在着一个反馈循环(Feedback Loop)。还是用何向南的图例来说明,推荐系统中的反馈循环包括三个阶段。

  • 从用户到数据集。这一阶段系统收集用户与推荐系统的交互数据,例如点击行为、用户对项目的评分等等。
  • 从数据集到推荐系统。这一阶段基于收集到的交互数据,从用户的交互历史中提炼用户偏好,然后学习推荐策略用来根据偏好预测用户可能采用的项目。
  • 从推荐系统到用户。这一阶段推荐策略会将推荐结果以Top-N的形式展示给用户,以满足用户的信息需求。

用户和推荐系统在每个反馈循环中相互促进,用户的个人兴趣和行为通过推荐不断转移。对反馈循环进行建模,是强化学习推荐系统的重要基础之一。

相关推荐
雪碧聊技术3 天前
机器学习的算法有哪些?
监督学习·强化学习·无监督学习·半监督学习·机器学习的算法
山顶夕景4 天前
【LLM】Kimi-K2模型架构(MuonClip 优化器等)
大模型·llm·agent·强化学习·智能体
GawynKing7 天前
使用 QLExpress 构建灵活可扩展的业务规则引擎
推荐系统·规则引擎·风控
ziix7 天前
多源信息融合智能投资【“图神经网络+强化学习“的融合架构】【低配显卡正常运行】
人工智能·深度学习·神经网络·强化学习·图神经网络·gnn
陈晨辰熟稳重8 天前
20250704-基于强化学习在云计算环境中的虚拟机资源调度研究
云计算·强化学习·资源调度
阿里云大数据AI技术9 天前
训练效率提升100%!阿里云后训练全栈解决方案发布实录
大数据·人工智能·强化学习
静心问道10 天前
OAIF:基于在线 AI 反馈的语言模型直接对齐
人工智能·机器学习·强化学习·ai技术应用
静心问道13 天前
CPO:对比偏好优化—突破大型语言模型在机器翻译中的性能边界
人工智能·强化学习·ai技术应用
许愿与你永世安宁15 天前
强化学习 (11)随机近似
人工智能·算法·强化学习·梯度下降·随机近似
辰尘_星启17 天前
【机器学习】反向传播如何求梯度(公式推导)
人工智能·深度学习·机器学习·强化学习·梯度下降·反向传播