神经网络 torch.nn---nn.LSTM()

torch.nn - PyTorch中文文档 (pytorch-cn.readthedocs.io)

LSTM --- PyTorch 2.3 documentation

LSTM层的作用

LSTM层:长短时记忆网络层,它的主要作用是对输入序列进行处理,对序列中的每个元素进行编码并保存它们的状态,以便后续的处理。

LSTM 是一种特殊的 RNN,它通过引入门控机制来解决传统 RNN 的长期依赖问题。

我们假设:h为LSTM单元的隐藏层输出,c为LSTM内存单元的值,x为输入数据。

LSTM 的结构包含以下几个关键组件:

1、输入门(input gate):决定当前时间步的输入信息对细胞状态的影响程度。

2 、遗忘门(forgetgate):决定上一个时间步的细胞状态对当前时间步的影响程度。

3 、细胞状态(cell state):用于在不同时间步之间传递和存储信息。

4 、输出门(output gate):决定细胞状态对当前时间步的输出影响程度。

5 、隐藏状态(hiddenstate):当前时间步的输出,也是下一个时间步的输入。

nn.LSTM

计算公式

对输入序列的每个元素,LSTM的每层都会执行以下计算:

h_t是时刻t的隐状态,

c_t是时刻t的细胞状态,

x_t是上一层的在时刻t的隐状态或者是第一层在时刻t的输入。

i_t, f_t, g_t, o_t分别代表 输入门,遗忘门,细胞和输出门。

参数说明:

torch.nn.LSTM(input_size , hidden_size , num_layers=1 , bias=True , batch_first=False , dropout=0.0 , bidirectional=False , proj_size=0 , device=None , dtype=None)

  • input_size -- 输入x的特征数量。
  • hidden_size -- 隐层的特征数量。
  • num_layers -- RNN的层数。
  • nonlinearity -- 激活函数。指定非线性函数使用tanh还是relu。默认是tanh
  • bias -- 是否使用偏置。
  • batch_first -- 如果True的话,那么输入Tensor的shape应该是[batch_size, time_step, feature],输出也是这样。默认是 False,就是这样形式,(seq(num_step), batch, input_dim),也就是将序列长度放在第一位,batch 放在第二位
  • dropout -- 默认不使用,如若使用将其设置成一个0-1的数字即可。如果值非零,那么除了最后一层外,其它层的输出都会套上一个dropout层。
  • 是否使用双向的 rnn,默认是 False

输入:input, (h_0, c_0)

  • input_shape = [时间步数, 批量大小, 特征维度] = [num_steps(seq_length), batch_size, input_dim]=input (seq_len, batch, input_size)保存输入序列特征的tensor。
  • h_0是shape=(num_layers*num_directions,batch_size,hidden_size)的张量,保存着batch中每个元素的初始化隐状态的Tensor。其中num_layers就是LSTM的层数。如果bidirectional=True,num_directions=2,否则就是1,表示只有一个方向。
  • c_0 是shape=(num_layers*num_directions,batch_size,hidden_size)的张量, 保存着batch中每个元素的初始化细胞状态的Tensor。h_0,c_0如果不提供,那么默认是0。

输出:output, (h_n, c_n)

  • output的shape=(seq_length,batch_size,num_directions*hidden_size),(时间步数, 批量大小, 隐藏单元个数)。 保存最后一层的输出的Tensor
  • h_n (num_layers * num_directions, batch, hidden_size): Tensor,保存着LSTM最后一个时间步的隐状态。
  • c_n (num_layers * num_directions, batch, hidden_size): Tensor,保存着LSTM最后一个时间步的细胞状态。

LSTM模型参数:

LSTM --- PyTorch 2.3 documentation

LSTM的结构解释:

MATLAB神经网络---lstmLayer(LSTM 长短期记忆神经网络)-CSDN博客

相关推荐
羊小猪~~1 小时前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
软工菜鸡2 小时前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert
哔哩哔哩技术3 小时前
B站S赛直播中的关键事件识别与应用
深度学习
deephub3 小时前
Tokenformer:基于参数标记化的高效可扩展Transformer架构
人工智能·python·深度学习·架构·transformer
___Dream3 小时前
【CTFN】基于耦合翻译融合网络的多模态情感分析的层次学习
人工智能·深度学习·机器学习·transformer·人机交互
极客代码3 小时前
【Python TensorFlow】入门到精通
开发语言·人工智能·python·深度学习·tensorflow
王哈哈^_^4 小时前
【数据集】【YOLO】【VOC】目标检测数据集,查找数据集,yolo目标检测算法详细实战训练步骤!
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·pyqt
是瑶瑶子啦5 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换
wangyue46 小时前
c# 深度模型入门
深度学习
川石课堂软件测试6 小时前
性能测试|docker容器下搭建JMeter+Grafana+Influxdb监控可视化平台
运维·javascript·深度学习·jmeter·docker·容器·grafana