Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
*星星之火*3 分钟前
【GPT入门】第47课 大模型量化中 float32/float16/uint8/int4 的区别解析：从位数到应用场景aneasystone本尊1 小时前
学习 Coze Studio 的工作流执行逻辑aneasystone本尊1 小时前
再学 Coze Studio 的智能体执行逻辑xuanwuziyou1 小时前
LangChain 多任务应用开发新智元1 小时前
一句话，性能暴涨 49%！马里兰 MIT 等力作：Prompt 才是大模型终极武器猫头虎1 小时前
猫头虎AI分享｜一款Coze、Dify类开源AI应用超级智能体Agent快速构建工具：FastbuildAI新智元2 小时前
AI 版华尔街之狼！o3-mini 靠「神之押注」狂赚 9 倍，DeepSeek R1 最特立独行天下弈星~2 小时前
GANs生成对抗网络生成手写数字的Pytorch实现重启的码农2 小时前
ggml介绍 (8) 图分配器 (ggml_gallocr)重启的码农2 小时前
ggml介绍 (9) 后端调度器 (ggml_backend_sched)