Day32_【 NLP _2.RNN及其变体 _(3) GRU】

门控循环单元(GRU, Gated Recurrent Unit),它是循环神经网络(RNN)的一种重要变体,旨在解决传统RNN的长期依赖问题

优点缺点与前一小节LSTM一样,但结构更简单

一、结构

分为重置门和更新门

1.重置门

作用在上一个隐藏状态

2.更新门

重置后的上一个隐藏状态与当前值的输入更新门门值-->线性变换tanh激活-->未更新h

--> +((1-更新门门值)*上一个隐藏状态)-->更新后的h

集合重置门的输入,对当前输入进行内部计算,对结果进行输出

二、API

复制代码
nn.GRU(input_size, hidden_size, num_layers)   
input = (seq_len, batch_size, input_size) 
h0 = (num_layers, batch_size, hidden_size)
相关推荐
青云交7 分钟前
Java 大视界 -- Java 大数据机器学习模型在电商评论情感分析与产品口碑优化中的应用
机器学习·自然语言处理·lstm·情感分析·java 大数据·电商评论·产品口碑
鼎道开发者联盟4 小时前
智能原生操作系统畅想:人智共生新时代的基石
人工智能·机器学习·自然语言处理
撸码猿1 天前
《Python AI入门》第9章 让机器读懂文字——NLP基础与情感分析实战
人工智能·python·自然语言处理
喜欢吃豆1 天前
使用 OpenAI Responses API 构建生产级应用的终极指南—— 状态、流式、异步与文件处理
网络·人工智能·自然语言处理·大模型
阿龙AI日记2 天前
详解Transformer04:Decoder的结构
人工智能·深度学习·自然语言处理
ModestCoder_2 天前
ROS Bag与导航数据集技术指南
开发语言·人工智能·自然语言处理·机器人·具身智能
海边夕阳20062 天前
【每天一个AI小知识】:什么是循环神经网络?
人工智能·经验分享·rnn·深度学习·神经网络·机器学习
7***A4432 天前
Vue自然语言处理应用
前端·vue.js·自然语言处理
励志成为糕手2 天前
循环神经网络(RNN):时序数据的深度学习模型
人工智能·rnn·深度学习·gru·lstm
做cv的小昊3 天前
VLM经典论文阅读:【综述】An Introduction to Vision-Language Modeling
论文阅读·人工智能·计算机视觉·语言模型·自然语言处理·bert·transformer