技术栈
注意力分数
Rrrrrr900
2 个月前
人工智能
·
pytorch
·
python
·
深度学习
·
机器翻译
·
注意力机制
·
注意力分数
李沐65_注意力分数——自学笔记
等价于将key和value合并起来后放入到一个隐藏大小为h输出大小为1的单隐藏层1.注意力分数是query和key的相似度,注意力权重是分数的softmax结果