Transformer - model architecture
flyfish
Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分
输入部分
输出部分
输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码
输出部分包含:
线性层
softmax处理器
左侧编码器部分和右侧解码器部分
编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成
解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成
Transformer - model architecture
西西弗Sisyphus2024-04-09 16:47
相关推荐
databook4 分钟前
让 LLM 输出不再失控：用 Pydantic 校验大模型输出程序员柒叔6 分钟前
先AI化，再升级人生系统：解读孙宇晨与邵艾伦4.5小时长谈程序猿编码13 分钟前
不用 PyTorch！从零手写 C++ 深度学习框架，自动微分、CUDA、分布式一把搞定“AI国潮设计-小江”14 分钟前
《【AIGC实战】Python+SDXL批量生成“英歌舞草莓抱抱卷蛋糕”IP插牌立牌方案，锁定角色一致性，甜品插件化落地》Ivanqhz15 分钟前
超参数考量与设计AI小百科17 分钟前
模型微调是什么？企业怎么用好它硅谷秋水20 分钟前
VLMeg：把 VLM 从奖励回归器变成成功检测器IT智慧客073120 分钟前
什么人适合做 OPC，又该怎么开始？Data_AI4Science21 分钟前
AI 时代，人更重要了企业数字化笔记23 分钟前
AI视频成片怎样做到可追溯？用镜头清单、文件哈希和字幕时间轴复盘交付