【王树森】RNN模型与NLP应用(9/9):Self-Attention(个人向笔记)

前言

上节课讲到的attention用到了Seq2Seq模型上,而Attention并不局限与Seq2Seq模型,而是可以用在所有RNN模型上。Self-attention在原论文中用到了LSTM上,而本节课做了简单的替换:换成了 Simple RNN。


SimpleRNN + Self-Attention

下面的 h 0 h_0 h0 为初始状态,是一个全0向量

  • 无 Self-Attention 的更新状态:
  • 有 Self-Attention 的更新状态:把 h 0 h_0 h0 换成了 c 0 c_0 c0
  • 接下来需要计算 c 1 c_1 c1 ,上节课提到 c c c 需要根据 h h h 来计算,而此时 h 0 h_0 h0 为全 0 向量,所以 c 1 c_1 c1 就等于 h 1 h_1 h1:
  • h 2 h_2 h2 同理:
  • 相关性与 c 2 c_2 c2 的计算需要同时包含 h 2 h_2 h2:后面的过程类似






Summary

  • Self-Attention能很大程度上解决RNN遗忘的问题
  • Self-Attenion和Attention的原理是一样的,但是Self-Attention不局限于Seq2Seq模型上,而是可以应用到所有RNN上
  • 除了避免遗忘,Self-Attention还能帮助关注相关的信息
相关推荐
汇能感知2 分钟前
光谱相机的光谱数据采集原理
经验分享·笔记·科技
人人题25 分钟前
汽车加气站操作工考试答题模板
笔记·职场和发展·微信小程序·汽车·创业创新·学习方法·业界资讯
小脑斧爱吃鱼鱼40 分钟前
鸿蒙项目笔记(1)
笔记·学习·harmonyos
lulinhao2 小时前
HCIA/HCIP基础知识笔记汇总
网络·笔记
杉之3 小时前
SpringBlade 数据库字段的自动填充
java·笔记·学习·spring·tomcat
WarPigs3 小时前
blender场景导入Unity的流程(个人总结)
笔记
sauTCc4 小时前
N元语言模型的时间和空间复杂度计算
人工智能·语言模型·自然语言处理
小杨爱学习zb5 小时前
学习总结 网格划分+瞬态求解设置
笔记·学习·算法
互联网上的猪6 小时前
Excel时间类型函数(包括today、date、eomonth、year、month、day、weekday、weeknum、datedif)
笔记·学习·excel
阿超爱嵌入式6 小时前
STM32学习笔记之RCC模块(实操篇)
笔记·stm32·学习