今天细致聊一下Transformer架构:Transformer架构是NLP领域基础架构,现在很多大模型都是大模2型都是源于这一框架训练而成.Transformer架构是Google团队于2017年在论文<Attention is all you need>中提出.本质是基于注意力机制.Transformer架构包含输入和输出部分,编码器部分和解码器部分.具体细节是:编码器部分的输入:input embeeding这里主要是将输入序列的每个词转换成固定维度的稠密向量,然后来到位置编码,使用的是正余弦函数生成固定位置编码,来到编码器部分.通常是6个相同层堆叠而成.每一个层包含两个子层.分别是多头注意力层和前馈连接层.这两个层的输出部分都包含了残差连接层和层归一化层.解码器入口output embedding将解码器的每一步的已生成输出词(shiftted right序列)转换成同样维度向量.同样来到解码器部分,然后是位置编码部分,然后是解码器部分.通常情况也是6个相同层堆叠而成.每一个子层包含3层.先是掩码部分,然后是多头注意力层和前馈全连接层.其中多头注意力层是采用交叉注意力.接收编码器部分的k和v.这3个部分的输出也都来到残差连接层和层归一化层.最后是输出部分.先是来到Liearn层和sofmax()层.最后输出.
相关推荐
冬奇Lab9 小时前
Workflow 系列（03）：状态管理——持久化、幂等性与版本绑定冬奇Lab9 小时前
每日一个开源项目（第146篇）：openpilot - 开源自动驾驶辅助系统，曾在 Consumer Reports 评测中超过特斯拉 Autopilot吴佳浩11 小时前
AI 工程师知识地图：模型格式、框架、部署工具一次讲明白IT_陈寒11 小时前
Java的Date类又坑了我一次，改用时间戳真香码农胖大海11 小时前
AI额度不够用的解决方案后端小肥肠11 小时前
小红书虚拟商品怎么做？我先用 Skill 跑通了壁纸品类feiyu_gao11 小时前
从零搭建个人 AI 工作台：一个管理者的 3 个月实验程序员cxuan13 小时前
一句话，让你用上 GPT-5.6机器之心13 小时前
AI圈刚开始谈Loop Engineering，两位95后博士已经盯上了人类闭环数据