今天细致聊一下Transformer架构:Transformer架构是NLP领域基础架构,现在很多大模型都是大模2型都是源于这一框架训练而成.Transformer架构是Google团队于2017年在论文<Attention is all you need>中提出.本质是基于注意力机制.Transformer架构包含输入和输出部分,编码器部分和解码器部分.具体细节是:编码器部分的输入:input embeeding这里主要是将输入序列的每个词转换成固定维度的稠密向量,然后来到位置编码,使用的是正余弦函数生成固定位置编码,来到编码器部分.通常是6个相同层堆叠而成.每一个层包含两个子层.分别是多头注意力层和前馈连接层.这两个层的输出部分都包含了残差连接层和层归一化层.解码器入口output embedding将解码器的每一步的已生成输出词(shiftted right序列)转换成同样维度向量.同样来到解码器部分,然后是位置编码部分,然后是解码器部分.通常情况也是6个相同层堆叠而成.每一个子层包含3层.先是掩码部分,然后是多头注意力层和前馈全连接层.其中多头注意力层是采用交叉注意力.接收编码器部分的k和v.这3个部分的输出也都来到残差连接层和层归一化层.最后是输出部分.先是来到Liearn层和sofmax()层.最后输出.
相关推荐
镜象科技1 小时前
职业院校AI心理健康解决方案怎么选？三个特殊场景与三类路线Leo.yuan1 小时前
企业Data Agent架构选型：帆软Dora基于NL2BI的现有BI体系复用方案朱涛的自习室1 小时前
70 美金的 Beyond Compare，我让 Gemini 4 和 DeepSeek 造个开源免费版（Day 2）米小虾2 小时前
上下文：Agent 的眼睛里到底装着什么米小虾2 小时前
Agent = 大脑 + 眼睛 + 手脚：一篇看懂现代 AI Agent 的骨架小小测试开发2 小时前
安全评测得分 0.9556 掉到 0.3257，只改了 top_k 和 prompt_style 之外的题面比例slacker-kian2 小时前
[实践]-用LLM对文本结构化：把多段文本描述变成规范的 JSON 知识库品牌常新2 小时前
景区巡逻机器人怎么选？派宝S5全地形守护解析冬奇Lab3 小时前
LLM 驱动的自动化测试系列（13）：Flaky Test 不是重跑几次就能解决的分类问题