【Tools】大模型中的自注意力机制


摇来摇去摇碎点点的金黄

伸手牵来一片梦的霞光

南方的小巷推开多情的门窗

年轻和我们歌唱

摇来摇去摇着温柔的阳光

轻轻托起一件梦的衣裳

古老的都市每天都改变模样

🎵 方芳《摇太阳》


自注意力机制(Self-Attention)是一种在Transformer等大模型中经常使用的注意力机制。该机制通过对输入序列中的每个元素计算与其他元素之间的相似性,并根据相似性来决定每个元素对整个序列的注意力权重。

在自注意力机制中,输入序列被分为三个不同的向量:查询(query)、键(key)和值(value)。通过计算查询与键之间的相似性,可以得到查询对键的注意力分数。然后,将这些注意力分数与值进行加权求和,得到对各个值的加权表示,即通过自注意力机制得到的输出。具体来说,自注意力机制的计算过程如下:

  1. 首先,为了计算查询与键之间的相似性,可以使用点积(dot product)、缩放点积(scaled dot product)或者双线性(bilinear)函数。

  2. 然后,将查询与键之间的相似性通过softmax函数进行归一化,得到查询对键的注意力分布。

  3. 最后,将注意力分布与值进行加权求和,得到对各个值的加权表示作为自注意力机制的输出。

自注意力机制的优点在于它能够在计算每个元素的注意力权重时同时考虑到与其他元素的关系,而不是仅仅依赖于位置信息。这种全局的注意力机制使得模型能够更好地捕捉到输入序列中各个元素之间的长距离依赖关系,帮助提升模型的表达能力。因此,自注意力机制在自然语言处理任务中,如机器翻译和文本生成等,取得了很好的效果。

相关推荐
odoo中国8 分钟前
深度学习 Deep Learning 第15章 表示学习
人工智能·深度学习·学习·表示学习
橙色小博22 分钟前
长短期记忆神经网络(LSTM)基础学习与实例:预测序列的未来
人工智能·python·深度学习·神经网络·lstm
深蓝学院28 分钟前
闭环SOTA!北航DiffAD:基于扩散模型实现端到端自动驾驶「多任务闭环统一」
人工智能·机器学习·自动驾驶
jimmyleeee33 分钟前
人工智能基础知识笔记七:随机变量的几种分布
人工智能·笔记·概率论
仙人掌_lz36 分钟前
机器学习ML极简指南
人工智能·python·算法·机器学习·面试·强化学习
weixin_435208161 小时前
论文浅尝 | Interactive-KBQA:基于大语言模型的多轮交互KBQA(ACL2024)
人工智能·语言模型·自然语言处理
碣石潇湘无限路1 小时前
【奇点时刻】GPT-4o新生图特性深度洞察报告
人工智能·经验分享·chatgpt·gpt4o·新生图特性
深眸财经1 小时前
从商汤科技年报,看一家AI企业的确定性叙事
人工智能·科技·百度
I'mFAN1 小时前
QT_xcb 问题
人工智能·python·opencv·计算机视觉