【Pytorch】nn.RNN、nn.LSTM 和 nn.GRU的输入和输出形状

nn.RNN、nn.LSTM 和 nn.GRU的输入和输出形状

输入形状

通用输入参数

这三个模块通常接收以下两种形式的输入:

  • 输入序列 :形状为 (seq_len, batch_size, input_size)
    • seq_len:表示序列的长度,即时间步的数量。例如在处理文本时,它可以是句子的单词数量;在处理时间序列数据时,它可以是时间点的数量。
    • batch_size:表示每次输入的样本数量。在训练模型时,通常会将多个样本组成一个批次进行处理,以提高计算效率。
    • input_size:表示每个时间步输入的特征维度。例如,在处理图像序列时,它可以是图像的特征向量维度;在处理文本时,它可以是词向量的维度。
  • 初始隐藏状态 :形状为 (num_layers * num_directions, batch_size, hidden_size)
    • num_layers:表示 RNN 层数。如果设置为多层 RNN,信息会在不同层之间依次传递。
    • num_directions:表示 RNN 的方向数,取值为 1(单向 RNN)或 2(双向 RNN)。双向 RNN 会同时考虑序列的正向和反向信息。
    • hidden_size:表示隐藏层的维度,即每个时间步输出的隐藏状态的特征数量。
特殊情况(LSTM)

对于 nn.LSTM,除了初始隐藏状态外,还需要一个初始细胞状态,其形状与初始隐藏状态相同,即 (num_layers * num_directions, batch_size, hidden_size)

输出形状

nn.RNN 和 nn.GRU
  • 输出序列 :形状为 (seq_len, batch_size, num_directions * hidden_size)。它包含了每个时间步的隐藏状态输出,其中 num_directions 取决于 RNN 是否为双向。如果是单向 RNN,num_directions 为 1;如果是双向 RNN,num_directions 为 2,输出的特征维度会翻倍。
  • 最终隐藏状态 :形状为 (num_layers * num_directions, batch_size, hidden_size)。它表示最后一个时间步的隐藏状态,用于后续的任务,如分类或预测。
nn.LSTM
  • 输出序列 :形状同样为 (seq_len, batch_size, num_directions * hidden_size),含义与 nn.RNNnn.GRU 的输出序列类似。
  • 最终隐藏状态和细胞状态 :最终隐藏状态和细胞状态的形状均为 (num_layers * num_directions, batch_size, hidden_size)。最终隐藏状态和细胞状态一起保存了 LSTM 在最后一个时间步的信息。

代码示例

python 复制代码
import torch
import torch.nn as nn

# 定义参数
input_size = 10
hidden_size = 20
num_layers = 2
batch_size = 3
seq_len = 5
num_directions = 1  # 单向 RNN

# 创建 RNN 模型
rnn = nn.RNN(input_size, hidden_size, num_layers)
# 创建 LSTM 模型
lstm = nn.LSTM(input_size, hidden_size, num_layers)
# 创建 GRU 模型
gru = nn.GRU(input_size, hidden_size, num_layers)

# 生成随机输入序列
input_seq = torch.randn(seq_len, batch_size, input_size)
# 初始化隐藏状态
h0 = torch.randn(num_layers * num_directions, batch_size, hidden_size)

# 运行 RNN
rnn_output, hn_rnn = rnn(input_seq, h0)
print("RNN 输出序列形状:", rnn_output.shape)
print("RNN 最终隐藏状态形状:", hn_rnn.shape)

# 初始化 LSTM 的细胞状态
c0 = torch.randn(num_layers * num_directions, batch_size, hidden_size)
# 运行 LSTM
lstm_output, (hn_lstm, cn_lstm) = lstm(input_seq, (h0, c0))
print("LSTM 输出序列形状:", lstm_output.shape)
print("LSTM 最终隐藏状态形状:", hn_lstm.shape)
print("LSTM 最终细胞状态形状:", cn_lstm.shape)

# 运行 GRU
gru_output, hn_gru = gru(input_seq, h0)
print("GRU 输出序列形状:", gru_output.shape)
print("GRU 最终隐藏状态形状:", hn_gru.shape)

在上述代码中,我们定义了输入序列和初始隐藏状态,并分别使用 nn.RNNnn.LSTMnn.GRU 对输入序列进行处理,最后打印出它们的输出形状,帮助你更好地理解输入输出形状的特点。

相关推荐
William.csj17 小时前
Pytorch/CUDA——flash-attn 库编译的 gcc 版本问题
pytorch·cuda
王上上17 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
198917 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
Green1Leaves1 天前
pytorch学习-9.多分类问题
人工智能·pytorch·学习
摸爬滚打李上进2 天前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
HuashuiMu花水木2 天前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
喝过期的拉菲2 天前
如何使用 Pytorch Lightning 启用早停机制
pytorch·lightning·早停机制
kk爱闹2 天前
【挑战14天学完python和pytorch】- day01
android·pytorch·python
m0_678693332 天前
深度学习笔记29-RNN实现阿尔茨海默病诊断(Pytorch)
笔记·rnn·深度学习
Yo_Becky2 天前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他