【Tools】大模型中的自注意力机制


摇来摇去摇碎点点的金黄

伸手牵来一片梦的霞光

南方的小巷推开多情的门窗

年轻和我们歌唱

摇来摇去摇着温柔的阳光

轻轻托起一件梦的衣裳

古老的都市每天都改变模样

🎵 方芳《摇太阳》


自注意力机制(Self-Attention)是一种在Transformer等大模型中经常使用的注意力机制。该机制通过对输入序列中的每个元素计算与其他元素之间的相似性,并根据相似性来决定每个元素对整个序列的注意力权重。

在自注意力机制中,输入序列被分为三个不同的向量:查询(query)、键(key)和值(value)。通过计算查询与键之间的相似性,可以得到查询对键的注意力分数。然后,将这些注意力分数与值进行加权求和,得到对各个值的加权表示,即通过自注意力机制得到的输出。具体来说,自注意力机制的计算过程如下:

  1. 首先,为了计算查询与键之间的相似性,可以使用点积(dot product)、缩放点积(scaled dot product)或者双线性(bilinear)函数。

  2. 然后,将查询与键之间的相似性通过softmax函数进行归一化,得到查询对键的注意力分布。

  3. 最后,将注意力分布与值进行加权求和,得到对各个值的加权表示作为自注意力机制的输出。

自注意力机制的优点在于它能够在计算每个元素的注意力权重时同时考虑到与其他元素的关系,而不是仅仅依赖于位置信息。这种全局的注意力机制使得模型能够更好地捕捉到输入序列中各个元素之间的长距离依赖关系,帮助提升模型的表达能力。因此,自注意力机制在自然语言处理任务中,如机器翻译和文本生成等,取得了很好的效果。

相关推荐
程序员NEO2 分钟前
Spring AI 对话记忆大揭秘:服务器重启,聊天记录不再丢失!
人工智能·后端
柠檬味拥抱3 分钟前
基于YOLOv8的100种中药分类识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
人工智能
神经星星9 分钟前
新加坡国立大学基于多维度EHR数据实现细粒度患者队列建模,住院时间预测准确率提升16.3%
人工智能·深度学习·机器学习
TY-20259 分钟前
深度学习——神经网络1
人工智能·深度学习·神经网络
y_y_liang12 分钟前
图生生AI商品换背景,高效商拍!
大数据·人工智能·ai·ai作画
中杯可乐多加冰25 分钟前
百度文心一言开源ERNIE-4.5深度测评报告:技术架构解读与性能对比
人工智能·掘金·金石计划
198931 分钟前
【零基础学AI】第31讲:目标检测 - YOLO算法
人工智能·rnn·yolo·目标检测·tensorflow·lstm
沐尘而生35 分钟前
【AI智能体】智能音视频-硬件设备基于 WebSocket 实现语音交互
大数据·人工智能·websocket·机器学习·ai作画·音视频·娱乐
巴伦是只猫39 分钟前
【机器学习笔记Ⅰ】3 代价函数
人工智能·笔记·机器学习
NetX行者39 分钟前
基于Vue 3的AI前端框架汇总及工具对比表
前端·vue.js·人工智能·前端框架·开源