Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
那个村的李富贵22 分钟前
光影魔术师：CANN加速实时图像风格迁移，让每张照片秒变大师画作腾讯云开发者2 小时前
“痛点”到“通点”！一份让 AI 真正落地产生真金白银的实战指南CareyWYR2 小时前
每周AI论文速递（260202-260206）hopsky3 小时前
大模型生成PPT的技术原理禁默3 小时前
打通 AI 与信号处理的“任督二脉”：Ascend SIP Boost 加速库深度实战心疼你的一切4 小时前
昇腾CANN实战落地：从智慧城市到AIGC，解锁五大行业AI应用的算力密码AI绘画哇哒哒4 小时前
【干货收藏】深度解析AI Agent框架：设计原理+主流选型+项目实操，一站式学习指南数据分析能量站4 小时前
Clawdbot（现名Moltbot）-现状分析那个村的李富贵4 小时前
CANN加速下的AIGC“即时翻译”：AI语音克隆与实时变声实战二十雨辰4 小时前
[python]-AI大模型