深度之眼(二十九)——神经网络基础知识(四)-循环神经网络

文章目录

一、 学习目标

二、序列数据

序列数据是常见的数据类型,前后数据通常具有关联性

三、语言模型

综合考虑序列数据的关联性

如果句子里面的字数一多,那么计算量就会非常大。

四、循环神经网络

上一个的时间步的隐藏布,会对下一个的时间步的隐藏布产生影响。

多层感知机和循环神经网络

循环神经网络会记录历史信息。W权重矩阵是循环使用的,(Wxh、Whh、Whq)这三个是不会变化的

  1. 循环神经网络的隐藏状态可以捕捉截至当前时间步的序列的历史信息
  2. 循环神经网络模型参数的数量不随时间步的增加而增长

4.1 RNN的反向传播

也称穿越时间的反向传播

五、门控循环单元-GNU

引入门的原因:防止梯度消失

有重置门、更新门。使用激活函数Sigmoid进行判决

5.1 候选隐藏状态

与RNN相比,可以判断是否需要上一个时间布的隐藏状态,从而得出候选隐藏状态。

之后候选隐藏状态与更新门相连接,最后得出下一个隐藏状态

重置门用于候选隐藏状态计算过程当中用来控制上一时间步控制隐藏状态要遗忘哪些信息。

更新门更新当前时间步隐藏状态的时候去组合上一时间步隐藏状态H_t-1以及当前时间步的候选隐藏状态H^~这样进行组合,得到H_t

六、长短期记忆网络-LSTM

个人理解就是长期记忆就是依赖于记忆细胞

主要记住上面这个示意图就能理解LSTM了。

七、回顾

其中BN后面几个都是BN的推广。BN会在baseline里面讲到

相关推荐
阿里云大数据AI技术2 分钟前
让 Agent 学会诊断 Elasticsearch:一套证据绑定的智能运维方法论
人工智能
十有八七7 分钟前
手搓 Agent(四):长点记性——上下文满了怎么办,怎么记住上一次
前端·人工智能·后端
米小虾1 小时前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界1 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
laoyeye8311 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
小码哥0682 小时前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌2 小时前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能
阿里云大数据AI技术2 小时前
把可观测做成基础设施:阿里云 Elasticsearch 监控链路的一次彻底重构
人工智能
TDengine (老段)2 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp