输入们、遗忘门和输出门
LSTM引入输入门、忘记门和输出门
输入门计算公式为：。
遗忘门计算公式为：。
输出门计算公式为：。
它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此，这三个门的值都在(0,1)的范围内。
候选记忆元
类似RNN中的，计算公式为：
。
记忆元
LSTM中，输入门和遗忘门类似GRU中控制输入或遗忘的机制。输入们用于控制采用多少来自的新数据，遗忘门用于控制保留多少过去的记忆元
的内容。随后按元素乘法，得出
。
如果遗忘门始终为1且输入门始终为0， 则过去的记忆元Ct−1 将随时间被保存并传递到当前时间步。 引入这种设计是为了缓解梯度消失问题， 并更好地捕获序列中的长距离依赖关系。
隐状态
LSTM中，输出门用于计算隐状态：。只要输出门接近1，我们就能够有效地将所有记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。
