rnn

从记忆到创作：LSTM如何赋能智能小说生成> **摘要**：本文将深入探讨LSTM在小说创作领域的创新应用，从原理解析到实战代码，为您展示如何利用这一强大的时序模型开启AI写作新时代。

【基于循环神经网络（RNN/LSTM/GRU）算法做电池剩余寿命的思路和代码示例】下面给你一个**“基于循环神经网络（RNN/LSTM/GRU）做电池剩余寿命（RUL）预测”的可直接跑的代码示例**（PyTorch 版），包含：数据→滑动窗口→RNN 模型→训练→评估→推理。你把自己的电池序列特征（电压/电流/温度/容量等）塞进去就能用。

大模型面试题42：从小白视角递进讲解大模型训练的重计算重计算是大模型训练的核心内存优化技术，本质是以时间换空间的策略。我们从「为什么需要它」到「核心特性」再到「进阶玩法」，一步步讲清楚。

基于PyTorch的深度学习基础课程之十三：循环神经网络循环神经网络（RNN）是一种用于处理序列数据的深度学习模型，通过隐层状态的反馈机制实现对序列特征的记忆和学习。RNN可应用于序列回归、分类和标注任务，如股价预测、文本分类等场景，其核心优势在于能够捕捉序列数据中的时序依赖关系。本文详细讨论了RNN的基本结构以及LSTM的结构，以及如何使用它们来构建循环神经网络，并给出了简要的应用示例。RNN也是理解目前应用最为广泛的Transformer模型（下文将讨论）的基础。

智能体在车联网中的应用：第41天车联网轨迹预测核心技术：从Social-LSTM到VectorNet的演进与深度解析在自动驾驶与车联网（V2X）构成的复杂交通生态中，准确预测周边车辆、行人等交通参与者的未来轨迹，是确保行车安全、实现高效协同决策的基石。轨迹预测不仅需要理解单个目标的运动规律，更需要建模目标之间以及目标与环境之间的复杂交互。这是一个典型的时空序列预测问题，充满了不确定性和动态性。

声声codeGrandMaster

RNN模型文本训练与推理这一篇文章, 就是对上一篇文章内容进行补充, 上一次我们还遗留着模型训练与文本推理的内容, 我们在这一篇文章里面都会讲到。

INT305 Machine Learning 机器学习 Pt.11 循环神经网络（RNN，Recurrent Neural Network）我们之前提到过神经网络，而且别的课程中也对神经网络进行了系统的学习。我们再回顾一下一些著名的神经网络模型。

MATLAB全流程对比RNN/LSTM/GRU时间序列预测性能在大数据与人工智能时代，时间序列预测已成为金融风控、能源调度、气象预报等领域的核心技术支撑。从股票价格波动到电力负荷峰值预测，从气温变化趋势到设备故障预警，精准的时间序列预测能为决策提供关键依据。而在众多预测模型中，循环神经网络（RNN）及其改进模型长短期记忆网络（LSTM）、门控循环单元（GRU）凭借对时序依赖关系的捕捉能力，成为该领域的主流选择。但问题来了：同样是处理时间序列数据，RNN、LSTM、GRU到底该怎么选？它们的预测精度、训练效率、适用场景有何差异？不少开发者和研究者在实际项目中都会陷入

大模型面试题36：Transformer中的残差连接处理方式与作用我们用 “抄近路保留原始信息” 的生活化比喻讲透核心逻辑，再逐步拆解它在Transformer中的具体处理流程、数学原理和关键作用。

大模型面试题29：稀疏注意力是什么？想象你在一个有10000人的大派对上，你需要和每个人握手、聊天，才能了解整个派对的情况。这就像 Transformer 的原始注意力机制：

大模型面试题30：Padding 的 mask 操作想象你在学校交作业，老师要求每个人都交 5 页纸。在深度学习里：回到交作业的例子：在模型里：mask 操作就像给老师一个**“忽略清单”**：

大模型面试题33：Transformer为什么用LayerNorm，而非BatchNorm？我们先从 “归一化的目标”和“数据的特点” 两个生活化角度讲透核心区别，再逐步深入技术细节，结合Transformer的场景分析原因。

大模型面试题35：Pre-LayerNorm vs Post-LayerNorm对深层Transformer训练稳定性我们先从 “做饭步骤” 的生活化比喻讲清两种归一化的核心区别，再一步步拆解实验的设计思路、关键步骤和评估指标，最后深入到实验的细节和结果分析。

大模型面试题34：Transformer的Encoder和Decoder区别与协作我们用 “翻译工作” 这个生活化场景，先讲明白两者的核心角色差异，再逐步拆解结构、机制和功能的不同，最后看它们如何配合完成任务。

rnn词嵌入层词嵌入层（Embedding Layer）在RNN中负责将离散的单词符号映射为连续的向量表示，将高维稀疏的one-hot编码转换为低维稠密的向量。这种表示能捕捉单词的语义和语法特征，提升模型对文本的理解能力。

RNN类神经网络整理RNN循环神经网络，这是一类专门处理序列数据的神经网络模型。在transormer出现之前，LSTM(作为RNN的变体)很受欢迎，曾经是一代霸榜的模型。虽然现在热度明显不如以前了，但里面的一些工程思想仍值得我们学习。主流 LLM（如 GPT、Llama、Claude）的核心主干不用 RNN 类模型，但 RNN 类组件仍出现在辅助模块、特定场景模型及研究型混合架构中。例如阿里2025年NeurIPS最佳论文：Attention Gating Makes Better Foundation Models，其中

大模型面试题25：Softmax函数把“得分”变成“概率”的归一化工具Softmax函数（也叫归一化指数函数）是深度学习里核心的归一化函数，专门用于把一组任意实数（常称“logits/对数几率/得分”）映射成0到1之间、总和为1的概率分布，常作为分类模型的输出层激活函数。

大模型面试题26：Adam优化器小白版速懂Adam 是深度学习里超常用的智能调参工具，它会自动给每个参数定制合适的学习率，比固定学习率训练更快、更稳，结合了 Momentum（动量）和 RMSProp（自适应学习率）的优点。

大模型面试题27：Muon优化器小白版速懂Muon是Kimi K2大模型训练的核心“智能调参工具”，比常用的AdamW更省算力、学更快；K2里实际用的是它的增强版MuonClip，解决了大模型训练的“飙车失控”问题。

大模型面试题24：小白版InfoNCE原理InfoNCE 是对比学习里常用的损失函数（全称：Information Noise Contrastive Estimation），核心是让模型学会区分“对的配对”和“错的干扰项”，从而学到有用的特征，不用依赖人工标注。