今天细致聊一下Transformer架构:Transformer架构是NLP领域基础架构,现在很多大模型都是大模2型都是源于这一框架训练而成.Transformer架构是Google团队于2017年在论文<Attention is all you need>中提出.本质是基于注意力机制.Transformer架构包含输入和输出部分,编码器部分和解码器部分.具体细节是:编码器部分的输入:input embeeding这里主要是将输入序列的每个词转换成固定维度的稠密向量,然后来到位置编码,使用的是正余弦函数生成固定位置编码,来到编码器部分.通常是6个相同层堆叠而成.每一个层包含两个子层.分别是多头注意力层和前馈连接层.这两个层的输出部分都包含了残差连接层和层归一化层.解码器入口output embedding将解码器的每一步的已生成输出词(shiftted right序列)转换成同样维度向量.同样来到解码器部分,然后是位置编码部分,然后是解码器部分.通常情况也是6个相同层堆叠而成.每一个子层包含3层.先是掩码部分,然后是多头注意力层和前馈全连接层.其中多头注意力层是采用交叉注意力.接收编码器部分的k和v.这3个部分的输出也都来到残差连接层和层归一化层.最后是输出部分.先是来到Liearn层和sofmax()层.最后输出.
相关推荐
圣殿骑士-Khtangc1 小时前
单智能体落地实战：从 ReAct 到 Production-Ready AI Agent 全链路解析云烟成雨TD2 小时前
Spring AI 1.x 系列【56】用大模型评判大模型：递归顾问实现自动化评估方案AI客栈2 小时前
K8s 自定义控制器中 WorkQueue 队列优化实践：基于 IPVS 转发原理的状态变化处理0xR3lativ1ty2 小时前
每周AI工具新动态jerryinwuhan2 小时前
面向产业带与中小企业数字化转型的电商运营人才培养模式Drgfd2 小时前
智造赋能品控：汪进进以精益生产，夯实质量制造底座米小虾2 小时前
"Chat is dead"：OpenAI 正在杀死的不是聊天，是整个 AI 交互范式冬奇Lab2 小时前
Agent 系列（18）：成本与性能优化——省钱且更快Hefei GlobefishAI3 小时前
合肥合豚AI硬件方案：专为智能售货柜厂商定制的无人零售接口套件