lstm基础知识

lstm前言

LSTM(Long short-term memory)通过刻意的设计来避免长期依赖问题,是一种特殊的RNN。长时间记住信息实际上是 LSTM 的默认行为,而不是需要努力学习的东西!

在标准的RNN中,这个重复模块具有非常简单的结构,例如只有单个tanh层,如下图所示。

LSTM具有同样的结构,但是重复的模块拥有不同的结构,如下图所示。与RNN的不同,这里有四个网络层,并且以一种非常特殊的方式进行交互。

公式推导

三个门的作用

ft门的作用是选择性遗忘部分记忆,it门决定了新的知识有哪些需要被记住,意思就是对新知识进行取舍,g(新的记忆单元)根据当前的输入和前一个隐藏状态计算出来的一个潜在的新记忆。它本身并不决定新信息是否要存入细胞状态,而只是提供了一种可能的输入。ot门决定了输出哪些新的知识。

总结

总结:我刚考完高等数学,下一门考线性代数,首先通过遗忘门,进行选择性遗忘旧的知识,然后通过更新门,将旧的知识和已经学习的新的知识进行整合。形成目前所学到的全部知识,然后和输出门进行结合,转化成考试的能力,也就是记住线性代数所要考察的考点,最后输出考试所得的分数。

相关推荐
涛神-DevExpress资深开发者3 分钟前
DevExpress V25.1 版本更新,开启控件AI新时代
人工智能·devexpress·v25.1·ai智能控件
Jamie2019010616 分钟前
健康孪生智能体使用起来复杂吗?医者AI技术核心与用户体验
人工智能
GLAB-Mary21 分钟前
AI会取代网络工程师吗?理解AI在网络安全中的角色
网络·人工智能·web安全
道可云28 分钟前
道可云人工智能每日资讯|浦东启动人工智能创新应用竞赛
人工智能·百度·ar·xr·deepseek
kyle~33 分钟前
目标检测在国防和政府的应用实例
人工智能·目标检测·计算机视觉
兮℡檬,44 分钟前
torchvision中的数据使用
人工智能
Qdgr_1 小时前
价值实证:数字化转型标杆案例深度解析
大数据·数据库·人工智能
c++服务器开发1 小时前
一文详解Character AI:实用指南+ ChatGPT、Gemini对比分析
人工智能·chatgpt
hanniuniu131 小时前
AI时代API挑战加剧,API安全厂商F5护航企业数字未来
人工智能·安全
nicepainkiller2 小时前
anchor 智能合约案例3 之 journal
人工智能·智能合约·solana·anchor