Day32_【 NLP _2.RNN及其变体 _(3) GRU】

门控循环单元(GRU, Gated Recurrent Unit),它是循环神经网络(RNN)的一种重要变体,旨在解决传统RNN的长期依赖问题

优点缺点与前一小节LSTM一样,但结构更简单

一、结构

分为重置门和更新门

1.重置门

作用在上一个隐藏状态

2.更新门

重置后的上一个隐藏状态与当前值的输入更新门门值-->线性变换tanh激活-->未更新h

--> +((1-更新门门值)*上一个隐藏状态)-->更新后的h

集合重置门的输入,对当前输入进行内部计算,对结果进行输出

二、API

复制代码
nn.GRU(input_size, hidden_size, num_layers)   
input = (seq_len, batch_size, input_size) 
h0 = (num_layers, batch_size, hidden_size)
相关推荐
麦麦大数据16 小时前
F024 RNN+Vue+Flask电影推荐可视化系统 python flask mysql 深度学习 echarts
python·rnn·深度学习·vue·echarts·电影推荐
OpenBayes19 小时前
教程上新|重新定义下一代 OCR:IBM 最新开源 Granite-docling-258M,实现端到端的「结构+内容」统一理解
人工智能·深度学习·机器学习·自然语言处理·ocr·图像识别·文档处理
艾醒(AiXing-w)1 天前
探索大语言模型(LLM): 大模型应用与对应的硬件选型一览表
人工智能·语言模型·自然语言处理
人机与认知实验室2 天前
触摸大语言模型的边界
人工智能·深度学习·机器学习·语言模型·自然语言处理
喜欢吃豆2 天前
一份关于语言模型对齐的技术论述:从基于PPO的RLHF到直接偏好优化
人工智能·语言模型·自然语言处理·大模型·强化学习
DisonTangor2 天前
Lumina-DiMOO:用于多模态生成与理解的全扩散大语言模型
人工智能·语言模型·自然语言处理·ai作画·aigc
强哥之神3 天前
浅谈目前主流的LLM软件技术栈:Kubernetes + Ray + PyTorch + vLLM 的协同架构
人工智能·语言模型·自然语言处理·transformer·openai·ray