循环神经网络

一、定义

1、潜变量自回归模型,使用潜变量ht总结过去信息

2、循环神经网络

(1)红框这一项如果去掉就跟MLP差不多,外层fai可以看做非线性函数(such:relu)

(2)当前的输出是为了预测当前的观察,没有对x建模,因为x的信息都存在h里面

(3)W_hh将对应的隐藏信息转化为真实信息, W_hh是将时序信息存放

3、困惑度

4、梯度剪裁

5、应用:文本生成、文本分类、问答、机器翻译、Tag生成

二、总结

1、对隐状态使用循环计算的神经网络称为循环神经网络(RNN)。

2、循环神经网络的隐状态可以捕获直到当前时间步序列的历史信息。

3、循环神经网络模型的参数数量不会随着时间步的增加而增加。

4、我们可以使用循环神经网络创建字符级语言模型。

相关推荐
lczdyx6 分钟前
从Flask到智能体:装饰器模式在AI系统中的架构迁移实践
人工智能·python·语言模型·架构·flask·装饰器模式
Acrelgq2312 分钟前
政策支持与市场驱动:充电桩可持续发展的双轮引擎
人工智能
软件测试小仙女17 分钟前
AI测试工具Testim——告别自动化测试维护难题
自动化测试·软件测试·人工智能·测试工具·单元测试·集成测试·压力测试
xieyan081140 分钟前
MCP之一_MCP协议解析
人工智能
小华同学ai1 小时前
2.1k star! 抓紧冲,DeepChat:连接AI与个人世界的智能助手的开源项目
人工智能·ai·开源·github·工具
界面开发小八哥1 小时前
智能Python开发工具PyCharm v2025.1——AI层级功能重磅升级
ide·人工智能·python·pycharm·开发工具
汀丶人工智能1 小时前
Qwen3强势来袭:推理力爆表、语言超百种、智能体协作领先,引领AI开源大模型
人工智能
Blossom.1181 小时前
可解释人工智能(XAI):让机器决策透明化
人工智能·驱动开发·深度学习·目标检测·机器学习·aigc·硬件架构
极客智谷1 小时前
Spring AI应用系列——基于Alibaba DashScope的聊天记忆功能实现
人工智能·后端
极客智谷1 小时前
Spring AI应用系列——基于Alibaba DashScope实现功能调用的聊天应用
人工智能·后端