Transformer的前世今生 day11(Transformer的流程)

Transformer的流程

  • 在机器翻译任务中,翻译第一个词,Transformer的流程为:
    1. 先将要翻译的句子,一个词一个词的转换为词向量送入编码器层,得到优化过的词向量以及K、V,
    2. 将K、V送入解码器层,并跟解码器层将要翻译的Q进行计算,来找出相匹配的K、V,
    3. 经过线性层和Softmax层得到最后翻译的结果,如下图:
  • 注意:翻译第一个词的时候,还没有已经生成好的词输入进解码器层
  • 在机器翻译任务中,翻译接下来的词,Transformer的流程为:
    1. 先将要翻译的句子,一个词一个词的转换为词向量送入编码器层,得到优化过的词向量以及K、V,
    2. 将K、V送入解码器层,同时,将之前已经生成的词也送入解码器层,并跟解码器层将要翻译的Q进行计算,来找出相匹配的K、V,
    3. 经过线性层和Softmax层得到最后翻译的结果,再将生成的词作为解码器层的输入再重复以上的步骤,当遇到<eos>时最后得到模型的输出,如下图:

Transformer的框架

相关推荐
算家计算17 分钟前
突破 30 分!国内团队结合DeepSeek-R1与 X-Master,打破AI 评测纪录!
人工智能·开源·资讯
CoovallyAIHub18 分钟前
基于YOLOv11的CF-YOLO,如何突破无人机小目标检测?
深度学习·算法·计算机视觉
rocksun19 分钟前
使用MCP Toolbox for Databases访问数据库
数据库·人工智能·mcp
ai小鬼头30 分钟前
AIStarter:一键部署AI工具,轻松提升效率的秘密武器!
css·人工智能·github
szxinmai主板定制专家1 小时前
89104 PCIe Switch芯片国产替代 - PCIE5.0国产AI服务器高性能扩展,支持海光/龙芯/飞腾等
人工智能
Listennnn1 小时前
AI趋势与提示词工程
人工智能
王天天(Bennet)1 小时前
【防火墙基础之传统墙到 UTM 到 NGFW 再到 AI 的变化】
人工智能·网络安全·防火墙·ngfw·防火墙发展与认知
Virgil1393 小时前
【TrOCR】训练代码
人工智能·深度学习·ocr
烟锁池塘柳03 小时前
【深度学习】神经网络剪枝方法的分类
深度学习·神经网络·剪枝
锅挤4 小时前
深度学习3(向量化编程+ python中实现逻辑回归)
人工智能·深度学习