Transformer的前世今生 day11(Transformer的流程)

Transformer的流程

  • 在机器翻译任务中,翻译第一个词,Transformer的流程为:
    1. 先将要翻译的句子,一个词一个词的转换为词向量送入编码器层,得到优化过的词向量以及K、V,
    2. 将K、V送入解码器层,并跟解码器层将要翻译的Q进行计算,来找出相匹配的K、V,
    3. 经过线性层和Softmax层得到最后翻译的结果,如下图:
  • 注意:翻译第一个词的时候,还没有已经生成好的词输入进解码器层
  • 在机器翻译任务中,翻译接下来的词,Transformer的流程为:
    1. 先将要翻译的句子,一个词一个词的转换为词向量送入编码器层,得到优化过的词向量以及K、V,
    2. 将K、V送入解码器层,同时,将之前已经生成的词也送入解码器层,并跟解码器层将要翻译的Q进行计算,来找出相匹配的K、V,
    3. 经过线性层和Softmax层得到最后翻译的结果,再将生成的词作为解码器层的输入再重复以上的步骤,当遇到<eos>时最后得到模型的输出,如下图:

Transformer的框架

相关推荐
Virgil1391 小时前
【TrOCR】训练代码
人工智能·深度学习·ocr
烟锁池塘柳01 小时前
【深度学习】神经网络剪枝方法的分类
深度学习·神经网络·剪枝
锅挤1 小时前
深度学习3(向量化编程+ python中实现逻辑回归)
人工智能·深度学习
MARS_AI_5 小时前
云蝠智能 Voice Agent 落地展会邀约场景:重构会展行业的智能交互范式
人工智能·自然语言处理·重构·交互·语音识别·信息与通信
weixin_422456445 小时前
第N7周:调用Gensim库训练Word2Vec模型
人工智能·机器学习·word2vec
归去_来兮7 小时前
深度学习模型在C++平台的部署
c++·深度学习·模型部署
HuggingFace9 小时前
Hugging Face 开源机器人 Reachy Mini 开启预定
人工智能
夏末蝉未鸣019 小时前
python transformers库笔记(BertForTokenClassification类)
python·自然语言处理·transformer
企企通采购云平台9 小时前
「天元宠物」×企企通,加速数智化升级,“链”接萌宠消费新蓝海
大数据·人工智能·宠物
超级小忍9 小时前
Spring AI ETL Pipeline使用指南
人工智能·spring