技术栈
注意力矩阵
DevOps老兵
1 小时前
大模型
·
transformer
·
自注意力
·
self-attention
·
注意力矩阵
Transformer拆解06：Self-Attention，一句话里的词怎样互相看见
我是老计。前面三篇把Embedding、QKV和缩放点积公式分别拆开了。现在把它们装起来，回答注意力机制最核心的问题：同一条序列里的每个位置，怎样根据自己的需要，从其他位置取回信息？
我是有底线的