N10 - NLP中的注意力机制


目录

  • [1. 注意力机制是什么](#1. 注意力机制是什么)
  • [2. 注意力实现步骤](#2. 注意力实现步骤)
    • [0. 准备隐藏状态](#0. 准备隐藏状态)
    • [1. 获取每个编码器隐藏状态的分数](#1. 获取每个编码器隐藏状态的分数)
    • [2. 通过softmax层运行所有分数](#2. 通过softmax层运行所有分数)
    • [3. 通过softmax得分将每个编码器的隐藏状态相乘](#3. 通过softmax得分将每个编码器的隐藏状态相乘)
    • [4. 向量求和](#4. 向量求和)
    • [5. 将上下文向量输入编码器](#5. 将上下文向量输入编码器)
    • 最后来一个总的动图
  • 总结与心得体会

1. 注意力机制是什么

在上节的seq2seq框架中,让两个循环神经网络(RNN)构成了 编码器-解码器 结构。其中编码器逐个读取输入词,获得固定维度的向量表示,然后解码器基于这些输入逐个提取输出词。

上面的结构的问题在于,解码器从编码器接受的唯一信息是 最后一个编码器隐藏状态,这是类似于对输入的序列进行总结。

所以对于较长的输入文本,结构会变成如下图所示

如果仍然希望解码器仅仅利用最后一个编码器的隐藏状态的输出就输出完成的译文,肯定是不太合理地,会导致灾难性遗忘。

所以我们如果可以向解码器提供每个编码器时间步的向量表示,而不是只把最终的给它,是不是就能改进翻译的结果呢,这就需要引入注意力机制。

注意力机制是编码器和解码器之间的接口,它为解码器提供每个编码器隐藏状态的信息(最后一层的除外)。通过这个设置,模型能够有选择地侧重输入序列中游泳的部分,有助于模型更高效地处理输入长句。

注意力机制的本质:通过为每个单词分配值,注意力机制可以为不同单词分配不同的注意力。然后利用softmax对编码器隐藏状态进行加权求和,得到上下文向量(Context Vector)。

注意力层的实现可以分成6个步骤。

2. 注意力实现步骤

0. 准备隐藏状态

首先需要准备一个解码器隐藏状态和所有可用的编码器的隐藏状态

1. 获取每个编码器隐藏状态的分数

分数(标量)通过评分函数获得。图示是解码器和编码器隐藏状态之间的点积。

2. 通过softmax层运行所有分数

将上一步的得分放到softmax层,这些得分代表注意力分布。

3. 通过softmax得分将每个编码器的隐藏状态相乘

将每个编码器隐藏状态与对应的softmax得分相乘,获得alignment向量

4. 向量求和

将所有的alignment向量相加,生成上下文向量(Context Vector)

5. 将上下文向量输入编码器

最后一步就是把生成的上下文向量给编码器作为输入使用

最后来一个总的动图

总结与心得体会

在没有本节学习之前,我一直以为注意力机制就是Transformer中使用的自注意力机制。通过注意力机制的过程学习,我才发现,自注意力机制只是注意力机制中的一种,并且Transformer这种也只是自注意力机制的一种实现形式。宏观上来看,自注意力机制可以用在更广泛的场景中,比如计算一下特征图每层之间的注意力分数,叫做通道注意力机制。

相关推荐
黎燃17 小时前
人工智能在法律文书自动生成中的深度实践:从语言模型到审判逻辑的可解释对齐
人工智能
哔哩哔哩技术20 小时前
TextFlux重磅发布:告别复杂控制信号!多语种高保真场景文本编辑新时代
人工智能
小白狮ww20 小时前
LAMMPS 教程:移动原子演示
人工智能·深度学习·机器学习
聚客AI21 小时前
⭐超越CNN与RNN:为什么Transformer是AI发展的必然选择?
人工智能·llm·掘金·日新计划
快手技术21 小时前
可灵AI数字人来了!快手重磅发布Kling-Avatar,面向多模态指令理解与控制的数字人长视频生成新范式
人工智能
算家计算1 天前
PDF解析神器——MinerU本地部署教程,一键去除页眉页脚,精准提取公式表格,支持84种语言,让文档转换更简单!
人工智能·开源
逛逛GitHub1 天前
面壁「小钢炮」最新开源!0.5B 的声音克隆神器。
人工智能·github
后端小肥肠1 天前
Coze 一键生成 AI 星座漫画,从 0 到 1 拿捏 10w + 流量!,小白可学
人工智能·aigc·coze
canonical_entropy1 天前
AI的集体反思:我们为什么未能预见到"可逆计算"的演进方向?
人工智能·低代码·aigc