今天细致聊一下Transformer架构:Transformer架构是NLP领域基础架构,现在很多大模型都是大模2型都是源于这一框架训练而成.Transformer架构是Google团队于2017年在论文<Attention is all you need>中提出.本质是基于注意力机制.Transformer架构包含输入和输出部分,编码器部分和解码器部分.具体细节是:编码器部分的输入:input embeeding这里主要是将输入序列的每个词转换成固定维度的稠密向量,然后来到位置编码,使用的是正余弦函数生成固定位置编码,来到编码器部分.通常是6个相同层堆叠而成.每一个层包含两个子层.分别是多头注意力层和前馈连接层.这两个层的输出部分都包含了残差连接层和层归一化层.解码器入口output embedding将解码器的每一步的已生成输出词(shiftted right序列)转换成同样维度向量.同样来到解码器部分,然后是位置编码部分,然后是解码器部分.通常情况也是6个相同层堆叠而成.每一个子层包含3层.先是掩码部分,然后是多头注意力层和前馈全连接层.其中多头注意力层是采用交叉注意力.接收编码器部分的k和v.这3个部分的输出也都来到残差连接层和层归一化层.最后是输出部分.先是来到Liearn层和sofmax()层.最后输出.
相关推荐
To_OC35 分钟前
大模型蒸馏是啥？说白了就是大厨带徒弟的学问新手来了@click1 小时前
JAVA+AI 简化开发操作｜文章被 AI Agent 技术社区收录分享GuWenyue1 小时前
Cursor黑盒拆解！1套LangChain.js手写Mini编程Agent，自动生成React项目，效率提升60%GuWenyue1 小时前
传统Agent工具两大痛点！300行代码落地MCP跨语言工具，彻底解耦LLM与工具老云讲算力市场2 小时前
WAIC首日观察：国产算力与机器人加速落地，奇点算力迎来产业新机遇糖果店的幽灵2 小时前
【DeepAgents 从入门到精通】Context Management 上下文管理小林ixn2 小时前
大模型随机说话的秘密：Temperature 和 Top K 深度解析，LangChain 实战调优ALINX技术博客2 小时前
ALINX 亮相 2026 WAIC 世界人工智能大会，展示 AI 视觉 FPGA+GPU 异构计算与电子后视镜解决方案程序员老猫3 小时前
当 AI 能写 80% 的代码时，后端工程师的核心价值还剩什么？想会飞的蒲公英3 小时前
计算机怎样读取中文文本：编码、清洗与标准化