模型并行之Embedding表

模型并行之Embedding表

Embedding在推荐模型中承担着将用户、物品及上下文信息映射为低维稠密向量的核心任务,通过捕捉潜在语义关联和协同过滤信号,为推荐系统提供可计算的特征表达基础。其向量化表征能力不仅解决了高维稀疏数据难以直接建模的问题,更能通过隐式关系挖掘支撑用户兴趣建模和相似度计算,这种稠密向量空间的连续性特征为后续针对不同行为序列、场景维度或兴趣簇的Embedding切片分析提供了可行性,例如基于时间衰减、行为类型或属性聚类的切片方式可进一步细化用户意图的动态表征。

接下来以一个案例为例介绍有关Embedding表的5种切分方式: Table Wise **、Column WiseRow WiseTable Wise&Row Wise 、网格切分**。(前提 :假设用户有128个特征,每个特征的Dim是128,注:下图中Devicexx 表示不同的主机或服务器,Rankx****x表示同一个主机上的不同卡)

  • Table Wise切分:表示将所有embedding表放置在一个同一个device上的同个Rank上,其余的Rank和Device不放置。
  • Row Wise****切分 :表示将Embedding 表按照key的维度进行切分。注意::图右方的Device一般指的是不同的服务器,也可根据表的大小与需要进行设置到同一个Device。
  • Column Wise****切分 :表示将Embedding 表按列(Embedding Dim)切分到不同的Rank上,一个Embedding Dim维度为128均分切到4张卡上变成[0~31, 32~63,64~95,96~127]。也就是每一个Rank分别获取每个特征的{[0, 31],[32, 63], [64, 95], [96, 127]}。注意 :图中上方的Device一般指的是不同的服务器,也可根据表的大小与需要进行设置到同一个Device。

  • Table Wise&Row Wise :组合切分方式,将Table Wise与Row Wise进行结合,其表示将表放置在一个主机上,在该主机上的 rank 之间进行行式拆分。

网格切片:其组合了Table Wise、Row Wise 和Column Wise三种,表示先将Embedding表按照Column Wise切片,然后再将CW 分片后的结果以TWRW方式放置在主机上。

4:数据并行并行之Embedding表:数据并行表示每个Rank中都保留整个表的副本。

相关推荐
HeartException23 分钟前
量子计算+AI芯片:光子计算如何重构神经网络硬件生态
人工智能
摸鱼仙人~27 分钟前
Minstrel:多智能体协作生成结构化 LangGPT 提示词
人工智能·提示词
AI街潜水的八角1 小时前
深度学习图像分类数据集—濒危动物识别分类
人工智能·深度学习
程序员陆通2 小时前
独立开发A/B测试实用教程
人工智能·ai编程
knowfoot2 小时前
硬核拆解!跟着公式“走”一遍,你也能彻底看懂神经网络
人工智能·神经网络
FF-Studio2 小时前
大语言模型(LLM)课程学习(Curriculum Learning)、数据课程(data curriculum)指南:从原理到实践
人工智能·python·深度学习·神经网络·机器学习·语言模型·自然语言处理
DDDDDouble2 小时前
<二>Sping-AI alibaba 入门-记忆聊天及持久化
java·人工智能
PyAIExplorer2 小时前
图像处理中的插值方法:原理与实践
图像处理·人工智能
狗头大军之江苏分军2 小时前
疑似华为盘古AI大模型翻车造假风波【实时记录篇】
人工智能·机器学习·程序员
Mr.Winter`2 小时前
轨迹优化 | 基于激光雷达的欧氏距离场ESDF地图构建(附ROS C++仿真)
c++·人工智能·机器人·自动驾驶·ros·ros2·具身智能