今天细致聊一下Transformer架构:Transformer架构是NLP领域基础架构,现在很多大模型都是大模2型都是源于这一框架训练而成.Transformer架构是Google团队于2017年在论文<Attention is all you need>中提出.本质是基于注意力机制.Transformer架构包含输入和输出部分,编码器部分和解码器部分.具体细节是:编码器部分的输入:input embeeding这里主要是将输入序列的每个词转换成固定维度的稠密向量,然后来到位置编码,使用的是正余弦函数生成固定位置编码,来到编码器部分.通常是6个相同层堆叠而成.每一个层包含两个子层.分别是多头注意力层和前馈连接层.这两个层的输出部分都包含了残差连接层和层归一化层.解码器入口output embedding将解码器的每一步的已生成输出词(shiftted right序列)转换成同样维度向量.同样来到解码器部分,然后是位置编码部分,然后是解码器部分.通常情况也是6个相同层堆叠而成.每一个子层包含3层.先是掩码部分,然后是多头注意力层和前馈全连接层.其中多头注意力层是采用交叉注意力.接收编码器部分的k和v.这3个部分的输出也都来到残差连接层和层归一化层.最后是输出部分.先是来到Liearn层和sofmax()层.最后输出.
相关推荐
fthux1 小时前
装闭 RenoPit 源码解析（09）：AnalysisEngine装修闭坑分析主流程敏编程1 小时前
开源项目 NextBand：探索融合健康传感、语音交互与 AI Agent 的下一代可穿戴设备ovO2 小时前
我按下“发送”之后：DeepSeek Harness 如何把一次请求变成 1,177 个增量片段昨日之日20062 小时前
LTX-2.5：更清晰、更可控、同步音画、多镜头连贯的AI视频神器九硕智慧建筑一体化厂家2 小时前
数字化管控落地，直流照明构筑安全照明体系江厌012 小时前
本地部署DeepSeek显卡怎么选？我把显存计算公式和实测记录写下来了小席是个热心肠2 小时前
AI相关的自我学习FII工业富联科技服务2 小时前
工业AI自治的演进趋势：从内容生成到Agent驱动的工厂运营范式转变云和数据.ChenGuang3 小时前
fastapi的参数剖析日常筹谋记3 小时前
技术研究：数据中心HVDC系统直流保护配合与ABB电气产品参数解析