【科普】大白话一文讲懂自注意力机制和注意力机制的区别

在注意力机制中,模型可以将注意力集中在输入序列中的特定位置,以便更好地理解其与输出之间的相关性。比如"关于亚太经济开发区的发展规划将于2021年4月5日进行发布"翻译成英文时,像"亚太经济开发区"这样的字眼,模型会放注意力在这上面,而不是放在"亚""太""经""济""开""发""区"上,总而言之,注意力机制允许模型在翻译输出句子的单词时查看原始句子中的每一个单词,然后根据模型自己从训练数据中学到的"什么类型的单词是相互依赖的"这样的知识对相关单词进行关注,从而输出更加准确的语义信息。

这样的关注机制使得模型能够对输入的不同部分赋予不同的重要性,为了计算某个位置的注意力权重,模型需要考虑所输入序列所有其他位置的信息,包括与其他序列(或外部信息)之间的关系,比如源语言序列和目标语言序列之间的对齐关系。

这意味着,无论输入序列有多长,都需要对所有位置进行全局计算,这在长序列上会产生较高的计算复杂度,导致模型训练和推理的效率下降。

具体而言,在传统的全局注意力机制中,通常采用固定窗口大小或者其他限制来控制每个位置与其他位置之间的相关性。(之所以用固定窗口是因为它需要对所有位置进行全局计算)例如,使用加性注意力或乘性注意力时,可能会引入随着距离增加而衰减的注意力权重。这种固定窗口大小或限制可能会导致在处理长序列时,模型难以准确地捕捉到远距离位置之间的依赖关系。即传统的注意力机制对输入序列设计了一个固定窗口,使得这个序列里面的各元素之间的相关性会被限制住,比如其实首单词和尾单词的相关度很高,但是它们在窗口中的位置里的很远,所以就可能遇到模型很难准确捕捉到远距离位置之间的依赖关系这样的情况。

相比之下,自注意力机制并没有这样的固定窗口大小或限制。在计算注意力权重时,自注意力机制考虑了序列中每个位置与其他所有位置的相关性,从而能够捕捉到任意两个元素之间的长程依赖关系。这种自由的计算范围使得自注意力机制能够在长序列上更好地建模全局的上下文信息。在计算注意力权重时,每个位置的注意力与其他位置是相互独立的,这使得自注意力机制可以充分发挥现代硬件的并行计算能力,如GPU或TPU加速。这样的并行计算能力在处理长序列时非常重要,因为它大大提高了计算效率,使得模型能够更快地训练和推理。但是传统的注意力机制也有优点,就是适用于短序列,且简单直观易于实现,且能考虑到不同序列之间的信息交互。

总之,注意力机制有广度,为了能考虑到不同序列之间的信息交互,它必须要设置固定窗口方便进行全局计算,这也就导致了适用于短序列。自注意力有深度,它只关注序列内部每个位置与其他位置的相关性,从而能够捕捉到任意两个元素之间的长程依赖关系。

相关推荐
阿里云大数据AI技术15 分钟前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
字节跳动开源24 分钟前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon25 分钟前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能
衡石科技35 分钟前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
网易云信1 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
Be for thing2 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七2 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下2 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术2 小时前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能
联犀2 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang