rnn

程序猿阿森

Transformer 相对 CNN/RNN 的核心优势：全局依赖、并行计算与可扩展性本文从全局依赖、并行计算、可扩展性三个维度，系统对比 Transformer 与 CNN、RNN 的差异，解释为什么 Transformer 能成为大模型时代的基础架构。

RNN 原理、架构与一次完整手算本文从 Embedding 开始，解释循环神经网络（RNN）如何逐个读取序列、更新隐藏状态、预测下一个词，并用一个可以手算的极简例子完整走一遍：前向传播、softmax、交叉熵、反向传播、梯度下降，以及更新参数后再次前向推演。

【transformer前置篇-03】深入理解LSTM的底层原理在学习LSTM之前，需要先学习这个RNN循环神经网络：RNN循环神经网络上一篇文章我们讲解了RNN循环神经网络，RNN循环神经网络基于前馈神经网络的基础上已经有了很大的优化，在集成了前馈神经网络的特点的情况下，同时引入了隐藏状态H—上下文的压缩摘要(压缩记忆)，让模型有了上下文记忆；引入时间维度让整个流程固定的顺序读，使得他有了固定处理顺序数据的能力。通过这两点让神经网络有了顺序和短期记忆。RNN虽然在这些方面有了一定的改进，但本身仍然有着许多的痛点，比如会随着序列越长导致早期的许多重要信息逐渐丢失，记忆

第16课：PyTorch｜循环神经网络RNN与序列数据处理【让模型拥有“记忆”】在第11课到第15课中，我们学习了如何处理图像数据，并搭建了CNN模型取得了不错的分类效果。但如果给你一段文本“我昨天去了____，今天回到北京”，要求预测空白处最可能是“上海”还是“吃饭”，图像模型就无能为力了。

【深度学习入门】循环神经网络（RNN）与长短期记忆网络（LSTM）详解在深度学习中，我们常会遇到两类数据：一类是相互独立的（如图片、表格中的单条记录），另一类是前后存在关联的序列数据（如文本、语音、股价走势）。对于后者，普通神经网络（如全连接网络）往往"力不从心"——因为它把每个样本当作孤立的点，既看不到先后顺序，也看不到上下文。

深入理解状态空间模型 (SSM)：RNN 与 Transformer 的优雅融合在深度学习的序列建模领域，我们长期面临一个核心问题：Transformer 的长序列建模能力很强，但计算复杂度随序列长度呈二次方增长。

在所不辞兄

【零基础学智能仿真-16】循环神经网络与LSTM/GRU——学习力学响应的历史记忆本节承接一维卷积，学习RNN、LSTM、GRU和双向循环网络处理力学时序数据的方法。课程从“当前载荷相同，结构响应为什么仍然不同”出发，讲解隐藏状态、时间展开、反向传播、梯度消失及门控记忆机制，并用纯NumPy训练一个循环神经网络，预测具有历史效应的位移响应。学习者将掌握时序数据组织、整序列划分、训练评估与因果性判断，为蠕变、动力响应、疲劳及裂纹扩展预测奠定基础。

【HCIA- AI（正课）】2.4 循环神经网络总结大模型前置技术教学分享，围绕 RNN 原理、CNN 逻辑、RNN 问题及优化方案等内容展开讲解，内容如下：

循环神经网络RNN循环神经网络（Recurrent Neural Network, RNN）是一种==专门处理序列数据的神经网络==。与传统的前馈神经网络不同，RNN具有“**循环**”结构，能够处理和记住前面时间步的信息，使其特别适用于时间序列数据或有时序依赖的任务。

序列数据怎么喂给神经网络？用循环神经网络RNN拆开一个时间步关键词：RNN、循环神经网络、序列建模、PyTorch、隐藏状态、时序分类如果你之前的工作主要是图像分类、表格预测或推荐排序，第一次接触序列建模时，往往会下意识想把序列「拍平」成一个固定向量：把 100 个时间步、每步 8 维的特征，直接展开成 800 维 Dense 输入。但这条路在真实的序列任务里基本走不通，因为序列问题有三条硬约束。拍平思路本质上是在假设「每个特征维度都是独立的」，而序列里恰恰没有哪个维度是独立的——它们按时间彼此咬合。

第26课：TensorFlow｜循环神经网络RNN原理【时序数据处理、序列依赖关系讲解】序列数据是元素按时间或逻辑顺序排列的数据，例如文本（单词序列）、语音（帧序列）、股票价格（每日值）。其关键特性是前后依赖，即当前时刻的值与过去时刻的值相关。

RNN记不住长序列怎么办？用 LSTM 三门一通道接旁路关键词：LSTM、门控循环单元、梯度消失、细胞状态、遗忘门偏置、序列建模、PyTorch适读人群：正在做时序分类、设备异常检测、对话意图识别等序列任务的 Python 工程师；以及想弄清「为什么 RNN 训练到一半准确率卡在随机基线」的 AI 应用开发者。

克里斯蒂亚诺更新

介绍CNN RNN Transformer(新王)这是一个非常经典且核心的深度学习问题。这三者本质上都是特征提取器，但它们的设计哲学和适用场景截然不同。

【DL】GRU|update gate|reset gate因为 LSTM 虽然能够通过 Cell State 和三个门更好地处理长期依赖，但结构比较复杂、参数较多、计算成本也更高。GRU 希望用更简单的结构，实现类似的记忆控制能力。GRU 不是为了“解决 RNN 完全不同的问题”，而是对 LSTM 的一种简化。

【DL】LSTM|Cell State|三个门因为普通 RNN 虽然可以通过 Hidden State 保存过去的信息，但是当序列很长时，早期信息很容易在多次计算和反向传播中逐渐丢失，因此 RNN 很难处理长期依赖。

【DL】RNN|序列数据|Hidden State神经网络如何处理有顺序的数据，并利用前面已经出现的信息？比如说我喜欢学习人工智能，或者一个句子，它都有一个特点，它们是有顺序的。我们今天就需要尝试解决这个问题。

LSTM 与 GRU：如何解决RNN的“长期遗忘”之痛？循环神经网络（RNN）的诞生，让深度学习第一次有了处理序列数据的能力。它通过“记忆”机制，让网络能够在处理当前输入时参考前序信息——这在语言理解、语音识别、时间序列预测等任务中是革命性的突破。

AI深度系列（3）| 从RNN到LSTM：序列数据处理的技术逻辑与企业AI化转型启示在企业AI化转型过程中，大量业务数据以序列形式存在：设备运行日志、用户行为轨迹、语音文本、金融时序等。如何让机器理解这类前后关联的数据，是智能化落地的核心问题之一。

Deep Learning for Computer Vision——Recurrent Neural Networks传统 CNN 和全连接网络（FC）的输入和输出大小是固定的（比如 224x224 的图片输入，输出 1000 个类别）。但现实中有很多任务输入或输出是可变长度的序列（如文本、语音、视频帧）。

RNN结构记录循环神经网络基本结构记录，本来想重新画一个图的，懒得麻烦将就用了。图本身画得有些问题，或者省略了一些细节，不要想通过看图推导公式，导致公式和图对不上，以公式补全图，公式是对的。