RNN善于处理时序 序列数据
简单RNN
展开就是
LSTM
遗忘门f_t决定上期记忆保留多少
隐藏层
在神经网络中，隐藏层指的是除了输入层和输出层之外的层，它们的输出不会直接用于网络的最终输出，而是作为中间步骤用于提取和转换数据。因此，如：卷积层作为一种在输入和输出之间的处理层，被归类为隐藏层。
隐状态
X_t符号含义
反向传播以求梯度 前向传播以求输出
信息论
信息熵
交叉熵损失函数
可以由信息熵推广而来，也可以通过极大似然的推导而来
softmax
然后选最大的，详见DL Softmax，多层感知机，卷积【0】_softmax与多层感知机的对比-CSDN博客
概率论
极大似然
数据集中，每个点的概率密度函数之积最小（即约≈p(X)），求导=0求参数，叫做参数的极大似然估计
