循环神经网络

Jsundoku6 天前
人工智能·深度学习·循环神经网络·1024程序员节
第六章 深度学习 -- 循环神经网络序列数据是一类按时间或位置顺序排列的数据,顺序本身携带信息。典型例子:序列建模的核心挑战:前馈网络(MLP、CNN)要求输入是固定维度的向量,对序列建模天生不友好——它们无法自然处理变长输入,也无法直接捕获位置信息(虽然可以用「最近 N 个 token」滑动窗口拼成定长输入,但仍是「局部上下文」)。循环神经网络(Recurrent Neural Network, RNN) 通过在时间步之间共享参数 + 维护隐藏状态,用同一套参数递归地处理任意长度的序列,是序列建模的经典方案。
huisheng_qaq1 个月前
rnn·lstm·transformer·循环神经网络
【transformer前置篇-03】深入理解LSTM的底层原理在学习LSTM之前，需要先学习这个RNN循环神经网络：RNN循环神经网络上一篇文章我们讲解了RNN循环神经网络，RNN循环神经网络基于前馈神经网络的基础上已经有了很大的优化，在集成了前馈神经网络的特点的情况下，同时引入了隐藏状态H—上下文的压缩摘要(压缩记忆)，让模型有了上下文记忆；引入时间维度让整个流程固定的顺序读，使得他有了固定处理顺序数据的能力。通过这两点让神经网络有了顺序和短期记忆。RNN虽然在这些方面有了一定的改进，但本身仍然有着许多的痛点，比如会随着序列越长导致早期的许多重要信息逐渐丢失，记忆
智码看视界1 个月前
python·自然语言处理·gru·lstm·循环神经网络·情感分析·梯度消失
第4篇：循环神经网络及其变体 LSTM/GRU 实战上期简要回顾： 上篇把 CNN 从 LeNet 一路推到 ResNet，残差连接一举解决深层退化；但卷积天生擅长「图」，面对「一句话、一段视频」这种序列信号，还差一个专门结构。
root_123456_2 个月前
机器翻译·循环神经网络·ai学习·序列倒序
循环神经网络二：序列到序列模型与机器翻译基础上一章的 RNN、LSTM 可以处理单序列的输入或输出，解决分类、标注、单步预测等任务。但现实中很多场景是输入一个序列、输出另一个序列，比如机器翻译输入中文序列输出英文序列、文本摘要输入长文本输出摘要序列、对话系统输入上文输出回复。这类任务统称为序列到序列任务，简称 Seq2Seq。
L-李俊漩5 个月前
神经网络·卷积神经网络·循环神经网络·前馈神经网络
神经网络梳理神经元 neuron 的基本结构 细胞体cell body 树突dendrite 轴突 axon。 感知机perceptron 激活函数 activation function
风落无尘6 个月前
人工智能·python·卷积神经网络·循环神经网络
第六章《从感知到认知》 完整学习资料本资料为《智能重生：从垃圾堆到AI工程师》第六章的配套学习内容。 阅读小说原文：第六章《从感知到认知》 专栏总目录：《智能重生》AI工程师成长小说专栏
SuperHeroWu76 个月前
人工智能·rnn·深度学习·循环神经网络·自注意力机制·self-attention
【AI大模型】Self-Attention：为什么它能取代 RNN 解决长距离依赖？在 Transformer 一统 NLP 乃至多模态领域之前，序列建模几乎是 RNN 及其变体（LSTM、GRU）的天下。但随着文本长度增加、模型规模扩大，RNN 的瓶颈愈发明显。而 Self-Attention（自注意力机制） 的出现，不仅颠覆了序列建模范式，更凭借对长距离依赖的优秀建模能力，成为现代大模型的核心基石。
Flying pigs~~7 个月前
人工智能·rnn·深度学习·gru·nlp·lstm·循环神经网络
深入浅出RNN及其变体：从传统RNN到LSTM、GRU循环神经网络（Recurrent Neural Network, RNN） 是一类以序列数据为输入的神经网络。它通过网络内部的结构设计，能够有效捕捉序列数据之间的前后关联特征，输出通常也是序列形式。
Flying pigs~~8 个月前
人工智能·rnn·深度学习·自然语言处理·循环神经网络
深度学习之循环神经网络RNN循环神经网络（Recurrent Neural Network）是一种专门处理序列数据的神经网络计算模型。
Pyeako8 个月前
人工智能·python·rnn·深度学习·lstm·循环神经网络·遗忘门
深度学习--循环神经网络原理&局限&与LSTM解决方案目录一、为什么需要RNN？传统神经网络的痛点二、RNN核心原理：带“记忆”的网络结构三、RNN的致命局限：长期依赖问题
All The Way North-9 个月前
pytorch·rnn·深度学习·循环神经网络·参数详解·api详解
彻底掌握 RNN（实战）：PyTorch API 详解、多层RNN、参数解析与输入机制本篇文章紧接着上一篇RNN理论篇：万字长文 · 彻底掌握RNN：原理、隐藏状态、矩阵变换、底层公式、单/Batch 样本处理、计算示例等深度解析
All The Way North-10 个月前
rnn·深度学习·nlp·循环神经网络·时间序列
RNN基本介绍循环神经网络（RNN）入门介绍循环神经网络（Recurrent Neural Network，简称 RNN）是一类专门用于处理序列数据的神经网络。与传统的前馈神经网络（Feedforward Neural Network）不同，RNN 具有“记忆”能力，可以利用之前的信息来影响当前的输出。
retrofit10 个月前
pytorch·rnn·深度学习·循环神经网络
基于PyTorch的深度学习基础课程之十三：循环神经网络循环神经网络（RNN）是一种用于处理序列数据的深度学习模型，通过隐层状态的反馈机制实现对序列特征的记忆和学习。RNN可应用于序列回归、分类和标注任务，如股价预测、文本分类等场景，其核心优势在于能够捕捉序列数据中的时序依赖关系。本文详细讨论了RNN的基本结构以及LSTM的结构，以及如何使用它们来构建循环神经网络，并给出了简要的应用示例。RNN也是理解目前应用最为广泛的Transformer模型（下文将讨论）的基础。
水月wwww10 个月前
人工智能·rnn·深度学习·gru·lstm·循环神经网络·文本续写
【深度学习】循环神经网络实现文本预测生成二者都是循环神经网络（RNN）的改进版本，核心解决传统RNN无法捕捉长序列依赖、易出现梯度消失/爆炸的问题，是处理文本、语音等序列数据的核心模型：
DogDaoDao1 年前
人工智能·语言模型·架构·大模型·transformer·循环神经网络·对抗网络
大语言模型四大核心技术架构深度解析2017年，Google团队在《Attention Is All You Need》中提出的Transformer架构彻底改变了序列建模范式。与传统循环神经网络（RNN）逐 token 处理不同，Transformer 通过自注意力机制实现了序列的并行处理，这一突破使其成为 BERT、GPT 等革命性模型的基础。
山烛1 年前
人工智能·rnn·深度学习·lstm·门控循环单元·循环神经网络·长短时记忆网络
一文读懂循环神经网络（RNN）：原理、局限与LSTM解决方案在自然语言处理（NLP）中，处理文本、语音等序列数据是核心需求。传统神经网络因无法捕捉数据的顺序关联，难以应对这类任务，而循环神经网络（RNN）凭借“记忆性”特性，成为解决序列问题的关键模型。本文将从RNN的核心原理出发，分析其局限，并详解LSTM如何突破这些局限，最后结合实例帮助理解。
love you joyfully1 年前
人工智能·pytorch·rnn·深度学习·gru·循环神经网络
循环神经网络——pytorch实现循环神经网络（RNN、GRU、LSTM）本文将深入探讨循环神经网络的理论基础，并通过PyTorch深度学习框架来展示如何实现循环神经网络模型。我们将首先介绍循环神经网络的基本概念。通过PyTorch代码示例，我们将展示如何设计、训练和评估一个循环神经网络模型。
蹦蹦跳跳真可爱5891 年前
人工智能·深度学习·nlp·transformer·循环神经网络
Python----循环神经网络（Transformer ----注意力机制）场景引入：在购物时，通常会根据自身的尺寸，比如腰 围和胸围，来对照商家提供的尺码对照表。在下面的例子中，最左侧的腰围代表我们 的个人尺寸（query），而右侧的两列则是商家提供的对照表（key、value）。
mailangduoduo1 年前
人工智能·自然语言处理·文本分类·循环神经网络·长短期记忆网络
基于双层注意力重加权 LSTM 的中文长文本谣言检测模型虚假信息在社交媒体上传播迅速，会对公众的行为及对社会事件的反应产生负面影响。长文本假新闻由于信息复杂，难以全面识别，现有的检测方法存在不足。针对上述现象，本文提出一种基于双层注意力重加权的长文本谣言检测模型。模型采用双层双向 LSTM 架构，通过第一层 LSTM 提取基础语义特征并结合 Tanh 非线性变换与线性层计算词级注意力权重定位关键区域；第二层 LSTM 以 Sigmoid 门控网络生成的动态特征权重与第一层注意力权重重加权后的特征为输入，进一步强化深层语义关联；最终拼接两层注意力的全局池化特征，
Morpheon1 年前
人工智能·rnn·深度学习·循环神经网络
循环神经网络(RNN)：从理论到翻译循环神经网络（RNN）是一种专为处理序列数据设计的神经网络，如时间序列、自然语言或语音。与传统的全连接神经网络不同，RNN具有"记忆"功能，通过循环传递信息，使其特别适合需要考虑上下文或顺序的任务。它出现在Transformer之前，广泛应用于文本生成、语音识别和时间序列预测（如股价预测）等领域。