字节 HLLM 论文阅读

github连接:https://github.com/bytedance/HLLM

探讨问题:

推荐LLM的三个关键问题:

  • LLM预训练权重通常被认为是对世界知识的概括,其对于推荐系统的价值?
  • 对推荐任务进行微调的必要性?
  • LLM是否可以在推荐系统中表现出与在其他领域相同的可扩展性优势?越大效果越好吗?

本文结论:

  • 不管是从文本到embed的部分(Item LLM),还是从embed到embed的部分(User LLM)作者认为预训练权重都是对于这一部分有益的
  • 非常必要
  • 理论上可行

实验方法:

模型架构

分为两个模块

Item LLM:对于单个item做特征提取(单个item的文本序列 --> [ITEM] 的emb )

提出了提取项目特征的方法。 它将item的文本描述作为输入,并输出嵌入表示。 llm在文本理解方面表现出了出色的性能,在项目文本描述的末尾添加一个特殊的令牌[ITEM]来提取特征,类比与Bert的放在末尾的[CLS]。

loss 1:InfoNCE Loss

User LLM:对于多个历史点击做用户建模( 用户的多个历史item的[ITEM] --> emb)

其中因为输入时候emb,所以直接丢弃了tokenizer,但是其他层的权重值留下了,作者说是很有用,不知道真的假的

loss 2 :cross Loss

总的loss = x*loss 1 + loss 2

loss都很常规,就不多说明了,论文里面也就3行,可以自行去看

训练方式

训练有两种主流模型:

1.生成式:主要是flow的meta家的HSTU工作,看过的小伙伴,欢迎补充信息

这里贴一篇帖子,做的实验证明HSTU的效果和ID_base的模型比较可能不占优势:

BaseModel vs HSTU for sequential recommendations

欢迎大家讨论自己的看法

2.判别式:

判别式又分成两个变体

Early fusion训练的时候,直接把待预测的样本的embedding E_target 放在序列结尾

Late fusion 后期用一个【user】代替,同时把E_target的和【user】一起输入预测层

实验结果

RQ1: LLM的一般预训练和带推荐目标的微调是否提高了最终的推荐性能?

实验说明,微调是非常有必要的

RQ2:与其他最先进的模型相比,HLLM的优势是否显著?

结论数据上看还是很华丽的

目前推荐系统与大模型的结合:

这些探索可以分为三种类型:

  1. llm用于总结或补充用户或项目的信息(RLMRec)
  2. llm还用于生成冷启动项目的增强训练信号
  3. 将推荐方式转化为对话任务

个人感悟

本篇文章,主要的创新点其实在与2步走的分层训练,使得训练参数的大小减少

相关推荐
s1ckrain19 小时前
【论文阅读】VARGPT-v1.1
论文阅读·多模态大模型·统一生成模型
Catching Star1 天前
【论文笔记】【强化微调】Vision-R1:首个针对多模态 LLM 制定的强化微调方法,以 7B 比肩 70B
论文阅读·强化微调
王上上1 天前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
s1ckrain1 天前
【论文阅读】DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
论文阅读·强化学习·多模态大模型·vlm
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
北京地铁1号线3 天前
GPT-2论文阅读:Language Models are Unsupervised Multitask Learners
论文阅读·gpt·语言模型
张较瘦_3 天前
[论文阅读] 人工智能 + 软件工程 | 软件架构中自然问题主动辅助研究:从挑战到解决方案
论文阅读·人工智能·软件工程
有Li3 天前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
张较瘦_3 天前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
selia10784 天前
[论文阅读] Neural Architecture Search: Insights from 1000 Papers
论文阅读