技术栈
序列建模
半序q-q
15 天前
端到端
·
多通道
·
序列建模
·
生成式排序
·
因果动作
·
ctr提升
GRAB：面向广告CTR预测的生成式排序框架，突破序列建模与泛化瓶颈
长期以来，DLRM体系在广告推荐/排序场景中占据主流，但在复杂用户行为序列下，往往需要重度特征工程与稀疏/稠密特征协同，仍可能出现对长序列利用不足、跨场景泛化受限等问题。GRAB以端到端生成式框架重构CTR建模流程，通过统一建模与训练策略，增强对长历史交互信息的吸收能力，并将用户行为中的关键"动作信号"纳入因果视角下的注意力建模，以更稳定地刻画时序动态与意图演化。
Lee_jerome
20 天前
rnn
·
深度学习
·
nlp
·
transformer
·
attention
·
注意力机制
·
序列建模
python神经网络编程入门（三十）——Transformer 从 RNN 到注意力：模型为什么需要“瞄一眼“
📍 路标：本篇位于《从零构建 Transformer》系列 第 1/16 章 · 基石篇。 系列主线：注意力思想 → 自注意力 → 多头 → 位置编码 → 编解码架构 → 手撕实现 → 预训练模型 → 实战微调 → 知识收官。 进度：▸ 基石篇(1-5·本篇) ▸ 架构篇(6-10) ▸ 预训练篇(11-13) ▸ 实战篇(14-16)
我是有底线的