李宏毅机器学习笔记-自注意力机制(self-attention)

引言

以往我们遇到的深度学习问题中,对于神经网络的输入一般都是一个向量,输出可能是一个类别。如果增加输入的复杂度,例如输入的是多个向量,或改变输入的向量长度(eg句子处理、声音序列处理、graph等)

那么输出会是什么情况呢?

每个输入向量都对应一个标签,输入和输出长度一样。例如输入一句话,让机器判断这句话中的每一个单词的词性。
第①种情况举例

只输出一个标签。例如文本情感分析,输入一句话让机器判断这句话是正面的还是消极的等等。
第②种情况举例

由模型判断输出数量

本文专注于讨论第①种输出情况,这种情况又称Sequence Labeling

Sequence Labeling

想要实现输入多个向量,输出同样数目的标签label,有一种解决方案就是FC(Fully-connected),对于每一个向量执行一次FC,然后输出对应的标签。

但是这样做有很大的弊端。例如在判断词性的例子中,我们将一句话作为一个输入,而一句话由多个单词组成,每个单词都有其对应的向量(向量的生成方式有两种,one-hot encoding 和 word embedding)。我们让每个单词都经过一次FC,得到其对应的词性。但是在上图的例子中,一句话中的两个saw是不同词性的,但是通过相同的网络得到输出没有理由是不一样的,因为输入的向量完全一样。

那么可以考虑这句话的上下文信息,把一个单词的相邻单词也考虑进去。一次输入一个window里面的向量。

但是这样的方法还是有弊端,如果我们有一个任务不是要考虑一个window就可以解决的,而是要考虑整句话才能解决。那么把window设置成一句话的长度可以吗?显然不行,因为我们一开始就说过,每一个输入样本的长度是不定的。那么把window设置成所有样本输入中最长的那个样本的长度可以吗?看似可以,但是这样做会需要学习太多的参数,可能会造成过拟合。那么有什么解决方法呢?这就需要用到本文要介绍的self-attention机制。

Self-attention

Self-attention 是怎么应用的呢?

首先要把一整个句子中的所有向量都经过 Self-attention,输入几个向量,就输出几个向量。得到的输出向量都考虑了整个句子的所有上下文信息。然后再将考虑了整句话信息的向量作为输入,进行FC得到对应的输出标签。

Self-attention 是怎么运作的呢?

首先 Self-attention 的输入是多个向量,这些向量可能是一整个神经网络的输入,也可能是某个隐藏层的输出,所以在这里用 a 来表示输入。输出的向量用 b 来表示,每一个 b 都是考虑了所有的 a 而生成的。下面我们介绍 b 是如何产生的,以 为例。

首先我们要根据 找到整句话中和 相关的其它向量。每一个相关的向量和 的关联程度用一个数值 α 来表示。

那么我们怎么找到其它向量和 之间的关联性呢?我们使用 Dot-product 的计算方式得到 α 。将两个向量作为输入,分别乘一个矩阵后得到两个新的矩阵 q 和 k ,然后 q 和 k 做内积,得到一个数值就是α 。

矩阵乘法的角度来看self-attention 是怎样运作

① 从 a 得到 q k v:a分别乘一个矩阵

② 得到attention score:通过q 与 点乘

③ 经过 softmax(或其他)处理

④ 得到 b :

**总结:**I 是self -attention 的input,一串vector;self-attention 的运作机制其实就是一连串的矩阵乘法。在这一系列矩阵中,只有矩阵W q , W k , W v 是未知的,是需要通过训练学习的参数。

Muti-head Self-attention(多头注意力机制)

相关推荐
NeoFii17 分钟前
Day 22: 复习
机器学习
_Kayo_1 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
巫婆理发2222 小时前
强化学习(第三课第三周)
python·机器学习·深度神经网络
Blossom.1183 小时前
基于深度学习的图像分类:使用Capsule Networks实现高效分类
人工智能·python·深度学习·神经网络·机器学习·分类·数据挖掘
使二颗心免于哀伤3 小时前
《设计模式之禅》笔记摘录 - 10.装饰模式
笔记·设计模式
悠哉悠哉愿意4 小时前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
想变成树袋熊4 小时前
【自用】NLP算法面经(6)
人工智能·算法·自然语言处理
岩中竹5 小时前
广东省省考备考——常识:科技常识(持续更新)
笔记
Olrookie5 小时前
若依前后端分离版学习笔记(三)——表结构介绍
笔记·后端·mysql
Coovally AI模型快速验证5 小时前
数据集分享 | 智慧农业实战数据集精选
人工智能·算法·目标检测·机器学习·计算机视觉·目标跟踪·无人机