Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
回眸&啤酒鸭6 分钟前
DeepSeek 大模型落地应用与价值实现指南怕浪猫17 分钟前
LLM 面试必问的 8 个问题，答不上来直接淘汰deepseek2321 分钟前
Lathoa 拆解：让 AI 故意出错比答对更难，反向出题 harness 的三重校验与共模失效困局红海云28 分钟前
AI抬高了职场的第一道门槛我是小白呀29 分钟前
21-Workflow与AI-Agent怎么分工：确定流程里容纳不确定判断数字新视界33 分钟前
动环监控系统优化数据中心管理，提升环境监测与安全效率zhenaibo52138 分钟前
如何向导师请教问题，才能得到有效建议？xsd202411181 小时前
智驾多传感器时间同步：从硬件触发到软触发PPS+GPRMC飞哥数智坊1 小时前
Personal Agent 火了，新酿还是旧酒？秦先生在广东1 小时前
HyperFrames 深度解析：面向 AI 代理的确定性视频渲染框架