双向长短期记忆神经网络BiLSTM

先说一下LSTM

LSTM 是一种特殊的 RNN,它通过引入门控机制来解决传统 RNN 的长期依赖问题。

LSTM 的结构包含以下几个关键组件:

  1. 输入门(input gate):决定当前时间步的输入信息对细胞状态的影响程度。
  2. 遗忘门(forgetgate):决定上一个时间步的细胞状态对当前时间步的影响程度。
  3. 细胞状态(cell state):用于在不同时间步之间传递和存储信息。
  4. 输出门(output gate):决定细胞状态对当前时间步的输出影响程度。
  5. 隐藏状态(hiddenstate):当前时间步的输出,也是下一个时间步的输入。

LSTM内部工作原理:

我们假设:h为LSTM单元的隐藏层输出,c为LSTM内存单元的值,x为输入数据。

  • 1、计算遗忘门的值𝑓**(𝑡)

  • 2、 计算当前时刻的输入结点*𝑔**(𝑡)g_((t)),𝑊(𝑥𝑔)W_((xg)),𝑊(h𝑔)W_((hg)),𝑊(𝑐𝑔)*W_((cg))分别是输入数据和上一时刻LSTM 单元输出的权值:

  • 3、计算输入门 (input gate) 的值*𝑖**(𝑡)*i_((t))。输入门用来控制当前输入数据对记忆单元状态值的影响。

  • 4、计算当前时刻记忆单元的状态值*𝑐**(𝑡)*c_((t))。

  • 5、计算输出门*𝑜**(𝑡)*o_((t))。输出门用来控制记忆单元状态值的输出。

  • 6、最后计算LSTM单元的输出。

长短期记忆神经网络(LSTM)的计算公式:

双向长短期记忆神经网络

双向长短期记忆神经网络(BiLSTM)的计算公式:

Bidirectional Long Short-Term Memory, BiLSTM

它是传统长短期记忆网络(Long Short-Term Memory, LSTM)的一种扩展形式,结合了正向LSTM和反向LSTM来获取更完整的上下文信息。从而通过BiLSTM可以更好的捕捉双向的语义依赖.

BiLSTM通过添加一个反向层来实现双向读取。具体而言,它使用两个LSTM网络,一个按照正向顺序处理输入序列,另一个按照反向顺序处理输入序列。这样,在每个时间步骤,每个LSTM单元都能够同时访问前面和后面的上下文信息。

相关推荐
渡我白衣7 分钟前
AI 应用层革命(一)——软件的终结与智能体的崛起
人工智能·opencv·机器学习·语言模型·数据挖掘·人机交互·集成学习
weixin_4296302612 分钟前
文献10.3 多视图变分深度学习及其在实际室内定位中的应用
人工智能·深度学习
CoovallyAIHub16 分钟前
OmniNWM:突破自动驾驶世界模型三大瓶颈,全景多模态仿真新标杆(附代码地址)
深度学习·算法·计算机视觉
墨利昂18 分钟前
Pytorch常用API(ML和DL)
人工智能·pytorch·python
刘孬孬沉迷学习36 分钟前
AI+通信+多模态应用分类与核心内容总结
人工智能·机器学习·分类·数据挖掘·信息与通信
Allenlzcoder1 小时前
掌握机器学习算法及其关键超参数
人工智能·机器学习·超参数
LaughingZhu1 小时前
Product Hunt 每日热榜 | 2025-10-26
人工智能·经验分享·搜索引擎·产品运营
2401_841495641 小时前
【自然语言处理】Transformer模型
人工智能·python·深度学习·算法·语言模型·自然语言处理·transformer
KG_LLM图谱增强大模型1 小时前
[ICAIS2025]探索LLM驱动的知识图谱构建:技术机制、方法对比与未来方向
人工智能·知识图谱·graphrag·知识图谱增强大模型
CH_Qing1 小时前
【ROS2】驱动开发-雷达篇
人工智能·ros2·1024程序员节