引入了窥视孔连接（peephole connections）的LSTM

引入了窥视孔连接（"peephole" connections）的LSTM

这张图详细地展示了一种长短期记忆网络（LSTM）的变体，即引入了窥视孔连接（"peephole" connections）的LSTM。窥视孔连接允许各个门直接访问细胞状态（cell state），从而在门控制决策过程中提供更多上下文信息。下面我将对此图进行详细、严谨且专业的解释，以揭示其逻辑和功能。

LSTM单元结构与窥视孔连接

LSTM网络的基本单元包括三个主要的门控制机制（输入门、遗忘门、输出门）和一个持久的细胞状态。这些组件协同工作，使LSTM能够捕获长期依赖性，同时避免传统递归神经网络中常见的梯度消失问题。

1. 细胞状态 (( c t − 1 , c t , c t + 1 c^{t-1}, c^t, c^{t+1} ct−1,ct,ct+1)):

   • 细胞状态是LSTM的核心，作为信息的主要载体，允许信息跨越多个时间步骤传递，而不仅仅是从一个步骤到下一个步骤。

2. 窥视孔连接:

   • 窥视孔连接是本图的特色，它们允许门控制机制直接访问细胞状态，而不是仅依赖于前一隐藏状态和当前输入。这增强了网络的能力，使门控制可以根据细胞状态的直接观察做出更为精确的调整。

门控制的详细机制

• 遗忘门 (( z f z^f zf)):

  • 决定从细胞状态中丢弃哪部分信息。它通过sigmoid激活函数处理，该函数考虑了当前输入、前一隐藏状态以及通过窥视孔连接的前一细胞状态。

• 输入门 (( z i z^i zi)):

  • 决定将多少新信息加入到细胞状态中。这同样通过一个sigmoid函数和一个tanh函数来处理，前者决定更新的程度，后者生成新的候选值。

• 输出门 (( z o z^o zo)):

  • 控制多少细胞状态的信息应输出为隐藏状态，这一过程也受到窥视孔连接的影响，使得输出门能够根据当前细胞状态的实际值调整输出。

计算流程

1. 细胞状态更新:

   • 细胞状态的更新是通过结合输入门生成的新信息和遗忘门决定保留的旧信息来实现的。具体计算公式如下：

     c t = f t × c t − 1 + i t × c \~ t c\^t = f_t \\times c\^{t-1} + i_t \\times \\tilde{c}_t ct=ft×ct−1+it×c\~t

     其中，( f t f_t ft) 是遗忘门输出，( i t i_t it) 是输入门输出，( c ~ t \tilde{c}_t c~t) 是新信息的候选值。

2. 输出生成:

   • 输出值由输出门控制，该门根据处理过的当前细胞状态（通过tanh激活）和输出门的sigmoid输出计算得到。

     h t = o t × tanh ⁡ ( c t ) h\^t = o_t \\times \\tanh(c\^t) ht=ot×tanh(ct)

     其中，(o_t) 是输出门的输出。

总结

通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。