LSTM,全称长短期记忆网络(Long Short-Term Memory),是一种特殊的循环神经网络(RNN)结构

关于lstm超参数设置,每个参数都有合适的范围,超过这个范围则lstm训练不再有效,loss不变,acc也不变

LSTM,全称长短期记忆网络(Long Short-Term Memory),是一种特殊的循环神经网络(RNN)结构,旨在解决传统RNN在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM通过引入三个门控机制(遗忘门、输入门和输出门)以及一个细胞状态(cell state),使得网络能够更有效地捕捉长距离依赖关系。

LSTM的核心组件:

  1. 遗忘门(Forget Gate)

    • 决定从细胞状态中丢弃哪些信息。
    • 通过一个sigmoid层来决定哪些信息需要保留,哪些信息需要遗忘。
  2. 输入门(Input Gate)

    • 决定哪些新的信息将被存储在细胞状态中。
    • 首先,一个sigmoid层决定哪些值需要更新。
    • 然后,一个tanh层生成一个新的候选值向量,这个向量可能会被加到细胞状态中。
  3. 细胞状态(Cell State)

    • LSTM的"记忆"线,贯穿整个链,只有一些少量的线性操作作用于它,使得信息能够很容易地流过而不改变。
    • 细胞状态通过遗忘门和输入门的操作来更新。
  4. 输出门(Output Gate)

    • 基于细胞状态,决定输出什么值。
    • 首先,通过一个sigmoid层来决定细胞状态的哪些部分将被输出。
    • 然后,将细胞状态通过tanh(将值规范到-1到1之间)处理,并与sigmoid层的输出相乘,得到最终的输出。

LSTM的工作流程:

  1. 遗忘阶段:通过遗忘门选择性地遗忘细胞状态中的信息。
  2. 选择记忆阶段:通过输入门决定哪些新信息将被添加到细胞状态中,并生成一个候选值向量。
  3. 更新细胞状态:结合遗忘阶段和选择记忆阶段的信息,更新细胞状态。
  4. 输出阶段:基于更新后的细胞状态,通过输出门决定输出什么信息。

LSTM的应用:

由于LSTM能够捕捉长距离依赖关系,它在处理序列数据方面表现出色,广泛应用于自然语言处理(如机器翻译、文本生成、情感分析等)、语音识别、时间序列预测等领域。

LSTM的变体:

除了标准的LSTM结构外,还有一些变体,如GRU(门控循环单元),它简化了LSTM的结构,同时保持了其捕捉长距离依赖的能力。这些变体在某些任务上可能表现得更好或更差,具体取决于任务的性质和数据的特性。

相关推荐
张子夜 iiii1 小时前
实战项目-----Python+OpenCV 实现对视频的椒盐噪声注入与实时平滑还原”
开发语言·python·opencv·计算机视觉
Billy_Zuo2 小时前
人工智能机器学习——决策树、异常检测、主成分分析(PCA)
人工智能·决策树·机器学习
困鲲鲲2 小时前
Flask 核心基础:从 路由装饰器 到 __name__ 变量 的底层逻辑解析
python·flask
njxiejing2 小时前
Python NumPy安装、导入与入门
开发语言·python·numpy
Rhys..3 小时前
Python&Flask 使用 DBUtils 创建通用连接池
开发语言·python·mysql
Just_Paranoid3 小时前
【Python Tkinter】图形用户界面(GUI)开发及打包EXE指南
python·gui·tkinter·pyinstaller
小宁爱Python3 小时前
Django 基础入门:命令、结构与核心配置全解析
后端·python·django
闲人编程4 小时前
Flask 前后端分离架构实现支付宝电脑网站支付功能
python·架构·flask·支付宝·前后端·网站支付·apl
996终结者4 小时前
同类软件对比(四):Jupyter vs PyCharm vs VS Code:Python开发工具终极选择指南
vscode·python·jupyter·pycharm·visual studio code
果壳~4 小时前
【Python】爬虫html提取内容基础,bs4
爬虫·python·html