今天细致聊一下Transformer架构:Transformer架构是NLP领域基础架构,现在很多大模型都是大模2型都是源于这一框架训练而成.Transformer架构是Google团队于2017年在论文<Attention is all you need>中提出.本质是基于注意力机制.Transformer架构包含输入和输出部分,编码器部分和解码器部分.具体细节是:编码器部分的输入:input embeeding这里主要是将输入序列的每个词转换成固定维度的稠密向量,然后来到位置编码,使用的是正余弦函数生成固定位置编码,来到编码器部分.通常是6个相同层堆叠而成.每一个层包含两个子层.分别是多头注意力层和前馈连接层.这两个层的输出部分都包含了残差连接层和层归一化层.解码器入口output embedding将解码器的每一步的已生成输出词(shiftted right序列)转换成同样维度向量.同样来到解码器部分,然后是位置编码部分,然后是解码器部分.通常情况也是6个相同层堆叠而成.每一个子层包含3层.先是掩码部分,然后是多头注意力层和前馈全连接层.其中多头注意力层是采用交叉注意力.接收编码器部分的k和v.这3个部分的输出也都来到残差连接层和层归一化层.最后是输出部分.先是来到Liearn层和sofmax()层.最后输出.
相关推荐
回眸&啤酒鸭3 天前
【回眸】Minicart 电商购物车核心功能落地指南一隅论数智3 天前
给AI一张“业务概念地图“：本体如何从哲学走向企业智能AI的探索之旅3 天前
97 个 OpenCV 实例（三十）：双目立体，从标定到点云AlbertZein3 天前
Step-5-Preview 上手实测：3D 游戏、金融分析、网页设计一次跑完LaughingZhu3 天前
Product Hunt 每日热榜 | 2026-09-19美狐美颜SDK开放平台3 天前
开发直播APP时如何接入视频美颜SDK？开发流程与注意事项wukangjupingbb3 天前
智能网联汽车安全能力框架龙亘川3 天前
明月照湾区，智启新赛道：从顶流文旅IP盛会看智慧文旅升级路径飞猫的边缘AI3 天前
边缘AI应用：家用AI摄像头怎么做数据训练？