双向长短期记忆神经网络BiLSTM

先说一下LSTM

LSTM 是一种特殊的 RNN,它通过引入门控机制来解决传统 RNN 的长期依赖问题。

LSTM 的结构包含以下几个关键组件:

  1. 输入门(input gate):决定当前时间步的输入信息对细胞状态的影响程度。
  2. 遗忘门(forgetgate):决定上一个时间步的细胞状态对当前时间步的影响程度。
  3. 细胞状态(cell state):用于在不同时间步之间传递和存储信息。
  4. 输出门(output gate):决定细胞状态对当前时间步的输出影响程度。
  5. 隐藏状态(hiddenstate):当前时间步的输出,也是下一个时间步的输入。

LSTM内部工作原理:

我们假设:h为LSTM单元的隐藏层输出,c为LSTM内存单元的值,x为输入数据。

  • 1、计算遗忘门的值𝑓**(𝑡)

  • 2、 计算当前时刻的输入结点*𝑔**(𝑡)g_((t)),𝑊(𝑥𝑔)W_((xg)),𝑊(h𝑔)W_((hg)),𝑊(𝑐𝑔)*W_((cg))分别是输入数据和上一时刻LSTM 单元输出的权值:

  • 3、计算输入门 (input gate) 的值*𝑖**(𝑡)*i_((t))。输入门用来控制当前输入数据对记忆单元状态值的影响。

  • 4、计算当前时刻记忆单元的状态值*𝑐**(𝑡)*c_((t))。

  • 5、计算输出门*𝑜**(𝑡)*o_((t))。输出门用来控制记忆单元状态值的输出。

  • 6、最后计算LSTM单元的输出。

长短期记忆神经网络(LSTM)的计算公式:

双向长短期记忆神经网络

双向长短期记忆神经网络(BiLSTM)的计算公式:

Bidirectional Long Short-Term Memory, BiLSTM

它是传统长短期记忆网络(Long Short-Term Memory, LSTM)的一种扩展形式,结合了正向LSTM和反向LSTM来获取更完整的上下文信息。从而通过BiLSTM可以更好的捕捉双向的语义依赖.

BiLSTM通过添加一个反向层来实现双向读取。具体而言,它使用两个LSTM网络,一个按照正向顺序处理输入序列,另一个按照反向顺序处理输入序列。这样,在每个时间步骤,每个LSTM单元都能够同时访问前面和后面的上下文信息。

相关推荐
说私域15 分钟前
基于开源AI大模型AI智能名片S2B2C商城小程序源码的私域流量新生态构建
人工智能·开源
HollowKnightZ21 分钟前
目标姿态估计综述:Deep Learning-Based Object Pose Estimation: A Comprehensive Survey
人工智能·深度学习
加油吧zkf1 小时前
Conda虚拟环境管理:从入门到精通的常用命令
图像处理·深度学习·计算机视觉·conda
算家计算1 小时前
“28项评测23项SOTA——GLM-4.1V-9B-Thinking本地部署教程:10B级视觉语言模型的性能天花板!
人工智能·开源
Codebee1 小时前
OneCode注解驱动:智能送货单系统的AI原生实现
人工智能·低代码
2401_878624792 小时前
pytorch 自动微分
人工智能·pytorch·python·机器学习
胖达不服输2 小时前
「日拱一码」021 机器学习——特征工程
人工智能·python·机器学习·特征工程
Rvelamen2 小时前
大模型安全风险与防护产品综述 —— 以 Otter LLM Guard 为例
人工智能
MARS_AI_2 小时前
大语言模型驱动智能语音应答:技术演进与架构革新
人工智能·语言模型·自然语言处理·架构·信息与通信