前言
- 基于RNN的Seq2Seq模型无法记住长序列
- Attentnion机制可以大幅度提升Seq2Seq模型
Seq2Seq Model with Attention
- Attention可以让句子在逐步变长的时候不忘记前面的输入信息
- Attention还可以告诉Decoder应该关注哪一个状态
- 优点:Attention可以大幅度提高准确率
- 缺点:Attention计算量比较大
Simple RNN + Attention
- 需要计算最后一个输出的状态和前面所有状态的相关性(权重),把这个权重记为 α i \alpha_i αi,所有的权重总和为1
- 计算方法1(原版) :①把 h i h_i hi 和 s 0 s_0 s0 做concatenation,②然后和一个矩阵 W W W(需要被训练的参数)相乘后丢到 tanh 激活函数里面使其范围变为 [ − 1 , 1 ] [-1,1] [−1,1] ,③然后再和 v T v^T vT 做内积得到一个实数。④最后把所有的权重做一个Softmax。
- 计算方法2(更流行,和Transformer一致) :①将 h i h_i hi 与 W K W_K WK(需要被训练的参数) 相乘得到 k i k_i ki,将 s 0 s_0 s0 与 W Q W_Q WQ(需要被训练的参数) 相乘得到 q 0 q_0 q0,其中 k i k_i ki 和 q 0 q_0 q0 都是一维的向量。② k i T q 0 k^T_iq_0 kiTq0 得到权重 α i ~ \tilde{\alpha_i} αi~。③对所有的 α i ~ \tilde{\alpha_i} αi~ 做 Softmax即可得到权重。
- 计算方法1(原版) :①把 h i h_i hi 和 s 0 s_0 s0 做concatenation,②然后和一个矩阵 W W W(需要被训练的参数)相乘后丢到 tanh 激活函数里面使其范围变为 [ − 1 , 1 ] [-1,1] [−1,1] ,③然后再和 v T v^T vT 做内积得到一个实数。④最后把所有的权重做一个Softmax。
- 我们对所有的 h i h_i hi 利用刚刚算出的权重计算加权平均得出一个向量 c 0 c_0 c0,其中一个 c c c 对应一个 s s s,计算出的加权平均向量被称为 Context vector。
- 对于更新状态来说,之前的Simple RNN是这样的,它不会去看前面的状态,而是只会看最后一个
- 而有Attention后更新状态还会把之前的信息 c 0 c_0 c0 考虑进去,也就是还会把前面的信息考虑进去,这样就把RNN遗忘的问题解决了
- 而对于后续的状态 s i s_i si 重复前面的步骤即可,注意每次权重 α i \alpha_i αi 都需要重新计算后得出 c i c_i ci
- Question: 有多少权重 α i \alpha_i αi 被计算了?
- 对于每一个 c i c_i ci ,我们都i需要用 s i s_i si 来计算 m m m 个权重
- 假设 Decoder 有 t t t 个状态,那么总共就需要计算 m t mt mt 次
- 这个时间复杂度是很高的!
- 权重可视化 :在下面的图中,连线表示相关性,连线越粗,相关性越强。而可以看到Area和zone有比较粗的连线,而英语中的Area就对应法语中的zone:权重指导Decoder关注Encoder中正确(如zone会特别关注Area)的状态,从而生成正确的翻译
Summary
- 之前的Seq2Seq模型:Decoder只会关注最后一个状态,容易导致遗忘
- Attention则会关注Encoder的所有状态
- Attention还会指导Decoder关注的侧重点
- 缺点:更高的计算复杂度,之前的模型只需要 O ( m + t ) O(m+t) O(m+t) 的复杂度,而Attention则需要 O ( m t ) O(mt) O(mt) 的复杂度,其中 m m m 是源序列的长度, t t t 是目标序列的长度