rnn

动手学深度学习（李沐)——现代循环神经网络读书笔记矩阵连续乘积可以导致梯度消失或梯度爆炸的问题。这导致我们的循环网络不能太长，但是在循环神经网络中早期观测值对预测所有未来观测值可能具有非常重要的意义，同时一些词元也可能没有相关的观测值。这里我们介绍以下现代循环神经网络解决这些问题。

Chapter5-从卷积到循环神经网络假设每次输入都是独立的，也就是说每次网络的输出只依赖于当前的输入。连接存在层与层之间，每层的节点之间是无连接的。（无循环）输入和输出的维数都是固定的，不能任意改变。无法处理变长的序列数据。

自然语言处理基础 03｜门控循环单元 GRU目录摘要一、GRU 解决什么问题？二、GRU 的结构与原理三、 API 介绍四、代码Demo五、总结基础 RNN 虽然引入隐藏状态实现序列记忆，但存在致命缺陷：长序列训练时梯度消失，句子很长时，模型会遗忘开头的信息。为了解决这个问题，研究者提出门控循环单元（Gated Recurrent Unit，GRU）。

自然语言处理基础 04｜长短期记忆网络 LSTM目录摘要一、LSTM 解决什么问题？二、LSTM 的结构与原理三、LSTM API 介绍四、代码Demo

Phoenixtree_DongZhao

[CVPR2026] 视觉 Mamba：RNN 与线性 Transformer 的统一视角论文：RNN as Linear Transformer: A Closer Investigation into Representational Potentials of Visual Mamba Models 作者：Timing Yang、Feng Wang、Guoyizhe Wei，Johns Hopkins University；CVPR 2026。本文将正文与附录的理论、实验和实现细节合并介绍。标为“阅读理解”或“公式核查”的段落是基于原文的解读；其余结论均对应原论文。配图沿用原论文编号。

深度学习5:循环神经网络:RNN介绍、词嵌入层、循环网络层、文本生成案例做了2次加权求和只有一个神经元这个 32 代表的是 batch_size（批次大小），也就是一次性并行输入给模型处理的样本（句子）数量。

程序猿阿森

Transformer 相对 CNN/RNN 的核心优势：全局依赖、并行计算与可扩展性本文从全局依赖、并行计算、可扩展性三个维度，系统对比 Transformer 与 CNN、RNN 的差异，解释为什么 Transformer 能成为大模型时代的基础架构。

RNN 原理、架构与一次完整手算本文从 Embedding 开始，解释循环神经网络（RNN）如何逐个读取序列、更新隐藏状态、预测下一个词，并用一个可以手算的极简例子完整走一遍：前向传播、softmax、交叉熵、反向传播、梯度下降，以及更新参数后再次前向推演。

【transformer前置篇-03】深入理解LSTM的底层原理在学习LSTM之前，需要先学习这个RNN循环神经网络：RNN循环神经网络上一篇文章我们讲解了RNN循环神经网络，RNN循环神经网络基于前馈神经网络的基础上已经有了很大的优化，在集成了前馈神经网络的特点的情况下，同时引入了隐藏状态H—上下文的压缩摘要(压缩记忆)，让模型有了上下文记忆；引入时间维度让整个流程固定的顺序读，使得他有了固定处理顺序数据的能力。通过这两点让神经网络有了顺序和短期记忆。RNN虽然在这些方面有了一定的改进，但本身仍然有着许多的痛点，比如会随着序列越长导致早期的许多重要信息逐渐丢失，记忆

第16课：PyTorch｜循环神经网络RNN与序列数据处理【让模型拥有“记忆”】在第11课到第15课中，我们学习了如何处理图像数据，并搭建了CNN模型取得了不错的分类效果。但如果给你一段文本“我昨天去了____，今天回到北京”，要求预测空白处最可能是“上海”还是“吃饭”，图像模型就无能为力了。

【深度学习入门】循环神经网络（RNN）与长短期记忆网络（LSTM）详解在深度学习中，我们常会遇到两类数据：一类是相互独立的（如图片、表格中的单条记录），另一类是前后存在关联的序列数据（如文本、语音、股价走势）。对于后者，普通神经网络（如全连接网络）往往"力不从心"——因为它把每个样本当作孤立的点，既看不到先后顺序，也看不到上下文。

深入理解状态空间模型 (SSM)：RNN 与 Transformer 的优雅融合在深度学习的序列建模领域，我们长期面临一个核心问题：Transformer 的长序列建模能力很强，但计算复杂度随序列长度呈二次方增长。

在所不辞兄

【零基础学智能仿真-16】循环神经网络与LSTM/GRU——学习力学响应的历史记忆本节承接一维卷积，学习RNN、LSTM、GRU和双向循环网络处理力学时序数据的方法。课程从“当前载荷相同，结构响应为什么仍然不同”出发，讲解隐藏状态、时间展开、反向传播、梯度消失及门控记忆机制，并用纯NumPy训练一个循环神经网络，预测具有历史效应的位移响应。学习者将掌握时序数据组织、整序列划分、训练评估与因果性判断，为蠕变、动力响应、疲劳及裂纹扩展预测奠定基础。

【HCIA- AI（正课）】2.4 循环神经网络总结大模型前置技术教学分享，围绕 RNN 原理、CNN 逻辑、RNN 问题及优化方案等内容展开讲解，内容如下：

循环神经网络RNN循环神经网络（Recurrent Neural Network, RNN）是一种==专门处理序列数据的神经网络==。与传统的前馈神经网络不同，RNN具有“**循环**”结构，能够处理和记住前面时间步的信息，使其特别适用于时间序列数据或有时序依赖的任务。

序列数据怎么喂给神经网络？用循环神经网络RNN拆开一个时间步关键词：RNN、循环神经网络、序列建模、PyTorch、隐藏状态、时序分类如果你之前的工作主要是图像分类、表格预测或推荐排序，第一次接触序列建模时，往往会下意识想把序列「拍平」成一个固定向量：把 100 个时间步、每步 8 维的特征，直接展开成 800 维 Dense 输入。但这条路在真实的序列任务里基本走不通，因为序列问题有三条硬约束。拍平思路本质上是在假设「每个特征维度都是独立的」，而序列里恰恰没有哪个维度是独立的——它们按时间彼此咬合。

第26课：TensorFlow｜循环神经网络RNN原理【时序数据处理、序列依赖关系讲解】序列数据是元素按时间或逻辑顺序排列的数据，例如文本（单词序列）、语音（帧序列）、股票价格（每日值）。其关键特性是前后依赖，即当前时刻的值与过去时刻的值相关。

RNN记不住长序列怎么办？用 LSTM 三门一通道接旁路关键词：LSTM、门控循环单元、梯度消失、细胞状态、遗忘门偏置、序列建模、PyTorch适读人群：正在做时序分类、设备异常检测、对话意图识别等序列任务的 Python 工程师；以及想弄清「为什么 RNN 训练到一半准确率卡在随机基线」的 AI 应用开发者。

克里斯蒂亚诺更新

介绍CNN RNN Transformer(新王)这是一个非常经典且核心的深度学习问题。这三者本质上都是特征提取器，但它们的设计哲学和适用场景截然不同。

【DL】GRU|update gate|reset gate因为 LSTM 虽然能够通过 Cell State 和三个门更好地处理长期依赖，但结构比较复杂、参数较多、计算成本也更高。GRU 希望用更简单的结构，实现类似的记忆控制能力。GRU 不是为了“解决 RNN 完全不同的问题”，而是对 LSTM 的一种简化。