Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
NAGNIP7 小时前
一文搞懂深度学习中的通用逼近定理！冬奇Lab9 小时前
一天一个开源项目（第36篇）：EverMemOS - 跨 LLM 与平台的长时记忆 OS，让 Agent 会记忆更会推理冬奇Lab9 小时前
OpenClaw 源码深度解析（一）：Gateway——为什么需要一个"中枢"AngelPP12 小时前
OpenClaw 架构深度解析：如何把 AI 助手搬到你的个人设备上宅小年12 小时前
Claude Code 换成了Kimi K2.5后，我再也回不去了九狼13 小时前
Flutter URL Scheme 跨平台跳转ZFSS13 小时前
Kimi Chat Completion API 申请及使用天翼云开发者社区14 小时前
春节复工福利就位！天翼云息壤2500万Tokens免费送，全品类大模型一键畅玩！知识浅谈14 小时前
教你如何用 Gemini 将课本图片一键转为精美 PPTRay Liang14 小时前
被低估的量化版模型，小身材也能干大事