LSTM,全称长短期记忆网络(Long Short-Term Memory),是一种特殊的循环神经网络(RNN)结构

关于lstm超参数设置,每个参数都有合适的范围,超过这个范围则lstm训练不再有效,loss不变,acc也不变

LSTM,全称长短期记忆网络(Long Short-Term Memory),是一种特殊的循环神经网络(RNN)结构,旨在解决传统RNN在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM通过引入三个门控机制(遗忘门、输入门和输出门)以及一个细胞状态(cell state),使得网络能够更有效地捕捉长距离依赖关系。

LSTM的核心组件:

  1. 遗忘门(Forget Gate):

    • 决定从细胞状态中丢弃哪些信息。
    • 通过一个sigmoid层来决定哪些信息需要保留,哪些信息需要遗忘。
  2. 输入门(Input Gate):

    • 决定哪些新的信息将被存储在细胞状态中。
    • 首先,一个sigmoid层决定哪些值需要更新。
    • 然后,一个tanh层生成一个新的候选值向量,这个向量可能会被加到细胞状态中。
  3. 细胞状态(Cell State):

    • LSTM的"记忆"线,贯穿整个链,只有一些少量的线性操作作用于它,使得信息能够很容易地流过而不改变。
    • 细胞状态通过遗忘门和输入门的操作来更新。
  4. 输出门(Output Gate):

    • 基于细胞状态,决定输出什么值。
    • 首先,通过一个sigmoid层来决定细胞状态的哪些部分将被输出。
    • 然后,将细胞状态通过tanh(将值规范到-1到1之间)处理,并与sigmoid层的输出相乘,得到最终的输出。

LSTM的工作流程:

  1. 遗忘阶段:通过遗忘门选择性地遗忘细胞状态中的信息。
  2. 选择记忆阶段:通过输入门决定哪些新信息将被添加到细胞状态中,并生成一个候选值向量。
  3. 更新细胞状态:结合遗忘阶段和选择记忆阶段的信息,更新细胞状态。
  4. 输出阶段:基于更新后的细胞状态,通过输出门决定输出什么信息。

LSTM的应用:

由于LSTM能够捕捉长距离依赖关系,它在处理序列数据方面表现出色,广泛应用于自然语言处理(如机器翻译、文本生成、情感分析等)、语音识别、时间序列预测等领域。

LSTM的变体:

除了标准的LSTM结构外,还有一些变体,如GRU(门控循环单元),它简化了LSTM的结构,同时保持了其捕捉长距离依赖的能力。这些变体在某些任务上可能表现得更好或更差,具体取决于任务的性质和数据的特性。

相关推荐
郝学胜-神的一滴6 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Norna8 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk5558 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk5558 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
罗西的思考8 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
JonaHu9 小时前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
prince_zxill10 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
少司府10 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
伞伞悦读10 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
console.log('npc')12 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习