今天细致聊一下Transformer架构:Transformer架构是NLP领域基础架构,现在很多大模型都是大模2型都是源于这一框架训练而成.Transformer架构是Google团队于2017年在论文<Attention is all you need>中提出.本质是基于注意力机制.Transformer架构包含输入和输出部分,编码器部分和解码器部分.具体细节是:编码器部分的输入:input embeeding这里主要是将输入序列的每个词转换成固定维度的稠密向量,然后来到位置编码,使用的是正余弦函数生成固定位置编码,来到编码器部分.通常是6个相同层堆叠而成.每一个层包含两个子层.分别是多头注意力层和前馈连接层.这两个层的输出部分都包含了残差连接层和层归一化层.解码器入口output embedding将解码器的每一步的已生成输出词(shiftted right序列)转换成同样维度向量.同样来到解码器部分,然后是位置编码部分,然后是解码器部分.通常情况也是6个相同层堆叠而成.每一个子层包含3层.先是掩码部分,然后是多头注意力层和前馈全连接层.其中多头注意力层是采用交叉注意力.接收编码器部分的k和v.这3个部分的输出也都来到残差连接层和层归一化层.最后是输出部分.先是来到Liearn层和sofmax()层.最后输出.
相关推荐
龙亘川几秒前
智赋能文旅领域治理｜一网统管能做什么？文化服务管理系统四大场景拆解指针常量2 分钟前
【RL相关笔记】RL 效率综述番茄不是西红柿kk3 分钟前
OpenCode Go 与 Command Code 性价比深度分析（2026.09.04 更新）Carl_奕然11 分钟前
【智能体】Agent的四种设计模式之：React（2026最新版）Thomas.Sir11 分钟前
第24课：TensorFlow｜图像分类实战训练【手写数字、日常图像分类完整项目】Herlie18 分钟前
2026，当AI不再是“玩具”：01Agent如何终结内容创作的“碎片化时代”？2601_9676598819 分钟前
AI重构流量入口，本地GEO服务正在成为一门新生意是翎21 分钟前
Vibe Coding零基础入门：六步工作流拆解residual_fan21 分钟前
特征级SMOTE（Feature-level SMOTE）论文分享