Day32_【 NLP _2.RNN及其变体 _(3) GRU】

门控循环单元（GRU, Gated Recurrent Unit），它是循环神经网络（RNN）的一种重要变体，旨在解决传统RNN的长期依赖问题

优点缺点与前一小节LSTM一样，但结构更简单

一、结构

分为重置门和更新门

1.重置门

作用在上一个隐藏状态

2.更新门

重置后的上一个隐藏状态与当前值的输入更新门门值-->线性变换tanh激活-->未更新h

--> +((1-更新门门值)*上一个隐藏状态）-->更新后的h

集合重置门的输入，对当前输入进行内部计算，对结果进行输出

二、API

nn.GRU(input_size, hidden_size, num_layers)   
input = (seq_len, batch_size, input_size) 
h0 = (num_layers, batch_size, hidden_size)