pytorch笔记 GRUCELL

1 介绍

GRU的一个单元

2 基本使用方法

python 复制代码
torch.nn.GRUCell(
    input_size, 
    hidden_size, 
    bias=True, 
    device=None, 
    dtype=None)

输入:(batch,input_size)

输出和隐藏层:(batch,hidden_size)

3 举例

python 复制代码
import torch.nn as nn

rnn = nn.GRUCell(input_size=5,hidden_size=10)

input_x = torch.randn(3, 5)
#batch,input_size

h0 = torch.randn(3, 10)
#batch,hidden_size

output= rnn(input_x, h0)
output.shape, output
'''
(torch.Size([3, 10]),
 tensor([[-0.4414,  1.0060,  0.3346, -0.2446, -0.4170, -0.6201, -1.0049,  0.1765,
           0.2238, -2.0249],
         [ 0.2764,  0.6327,  0.1682, -0.0433,  1.2226, -1.0959,  0.0345, -0.6375,
          -1.4599, -0.3670],
         [ 0.9447, -0.0849,  0.3983, -0.4078,  0.9805, -0.1826,  0.2151,  0.3382,
          -0.1147, -0.2307]], grad_fn=<AddBackward0>))
'''

4 和GRU的异同

|-----------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 功能性 | * GRU: 它是一个完整的循环层,可以处理整个序列的输入,并一次性返回整个序列的输出。 * GRUCell: 它处理单个时间步长的输入,并返回单个时间步长的输出。它更为基础,通常在你想自定义循环过程时使用。 |
| 输入: | * GRU : 期望的输入形状为 (seq_len, batch, input_size)(如果 batch_first=True,则为 (batch, seq_len, input_size))。 * GRUCell : 期望的输入形状为 (batch, input_size)。 |
| 输出: | * GRU : 它返回两个输出 ------ 整个序列的输出和最后一个时间步长的隐藏状态。输出的形状为 (seq_len, batch, hidden_size)(num_layers * num_directions, batch, hidden_size)。 * GRUCell : 它只返回下一个时间步长的隐藏状态,其形状为 (batch, hidden_size)。 |
| 用法: | * 使用 GRU 时,你可以一次性将整个序列传入,而不需要自己编写循环。 * 使用 GRUCell 时,你需要手动编写循环,以一个时间步长为单位处理输入。 |
| 应用场景: | * GRU: 当你想使用标准的循环过程处理整个序列时,通常使用GRU。 * GRUCell: 当你想自定义循环过程或有特定的需求时使用,例如混合不同类型的RNN单元或在循环中执行特定操作。 |

5 一个GRU由几个GRUcell组成?

一个具有 seq_lenbidirectional=True 和指定的 num_layers 的 GRU 对应的 GRUCell 的数量为:

  1. seq_len :对于长度为 seq_len 的输入序列,GRU 在内部会进行 seq_len 次循环操作,每次循环处理序列中的一个时间步长。所以这部分会贡献 seq_len 个 GRUCell。

  2. bidirectional=True :当 GRU 是双向的,即 bidirectional=True,那么对于每一个时间步长,都会有两个 GRUCell 被调用:一个是正向的,另一个是反向的。因此,双向性将 GRUCell 的数量增加一倍。

  3. num_layers :这表示你要堆叠多少层的 GRU。每一层都会为每个时间步调用其自己的 GRUCell(考虑到双向性,这可能是两个)。所以如果你有 num_layers 层,那么你需要乘以这个数字。

综上所述,总的 GRUCell 的数量为: Total GRUCells=seq_len×(2 if bidirectional else 1)×num_layers

相关推荐
使一颗心免于哀伤16 小时前
《设计模式之禅》笔记摘录 - 21.状态模式
笔记·设计模式
_落纸3 天前
三大基础无源电子元件——电阻(R)、电感(L)、电容(C)
笔记
Alice-YUE3 天前
【CSS学习笔记3】css特性
前端·css·笔记·html
2303_Alpha3 天前
SpringBoot
笔记·学习
Hello_Embed3 天前
STM32HAL 快速入门(二十):UART 中断改进 —— 环形缓冲区解决数据丢失
笔记·stm32·单片机·学习·嵌入式软件
咸甜适中3 天前
rust语言 (1.88) 学习笔记:客户端和服务器端同在一个项目中
笔记·学习·rust
Grassto3 天前
RAG 从入门到放弃?丐版 demo 实战笔记(go+python)
笔记
Magnetic_h3 天前
【iOS】设计模式复习
笔记·学习·ios·设计模式·objective-c·cocoa
周周记笔记3 天前
学习笔记:第一个Python程序
笔记·学习
丑小鸭是白天鹅3 天前
Kotlin协程详细笔记之切线程和挂起函数
开发语言·笔记·kotlin