深度之眼(二十九)——神经网络基础知识(四)-循环神经网络

文章目录

一、 学习目标

二、序列数据

序列数据是常见的数据类型,前后数据通常具有关联性

三、语言模型

综合考虑序列数据的关联性

如果句子里面的字数一多,那么计算量就会非常大。

四、循环神经网络

上一个的时间步的隐藏布,会对下一个的时间步的隐藏布产生影响。

多层感知机和循环神经网络

循环神经网络会记录历史信息。W权重矩阵是循环使用的,(Wxh、Whh、Whq)这三个是不会变化的

  1. 循环神经网络的隐藏状态可以捕捉截至当前时间步的序列的历史信息
  2. 循环神经网络模型参数的数量不随时间步的增加而增长

4.1 RNN的反向传播

也称穿越时间的反向传播

五、门控循环单元-GNU

引入门的原因:防止梯度消失

有重置门、更新门。使用激活函数Sigmoid进行判决

5.1 候选隐藏状态

与RNN相比,可以判断是否需要上一个时间布的隐藏状态,从而得出候选隐藏状态。

之后候选隐藏状态与更新门相连接,最后得出下一个隐藏状态

重置门用于候选隐藏状态计算过程当中用来控制上一时间步控制隐藏状态要遗忘哪些信息。

更新门更新当前时间步隐藏状态的时候去组合上一时间步隐藏状态H_t-1以及当前时间步的候选隐藏状态H^~这样进行组合,得到H_t

六、长短期记忆网络-LSTM

个人理解就是长期记忆就是依赖于记忆细胞

主要记住上面这个示意图就能理解LSTM了。

七、回顾

其中BN后面几个都是BN的推广。BN会在baseline里面讲到

相关推荐
泯泷5 小时前
别再手动盯盘了!用这个免费工具实现股市自动监控
人工智能
陈如水5 小时前
Spring AI Alibaba 在多 Agent 场景下的实践
java·人工智能·spring
瓶瓶持续学习中6 小时前
物理AI与具身智能的技术架构区别:从空间建模到机器人动作执行
人工智能·机器人
羲云网络6 小时前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
snakeshe10106 小时前
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
人工智能
智联视频超融合平台10 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟10 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯12 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐12 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means