循环神经网络

一、定义

1、潜变量自回归模型,使用潜变量ht总结过去信息

2、循环神经网络

(1)红框这一项如果去掉就跟MLP差不多,外层fai可以看做非线性函数(such:relu)

(2)当前的输出是为了预测当前的观察,没有对x建模,因为x的信息都存在h里面

(3)W_hh将对应的隐藏信息转化为真实信息, W_hh是将时序信息存放

3、困惑度

4、梯度剪裁

5、应用:文本生成、文本分类、问答、机器翻译、Tag生成

二、总结

1、对隐状态使用循环计算的神经网络称为循环神经网络(RNN)。

2、循环神经网络的隐状态可以捕获直到当前时间步序列的历史信息。

3、循环神经网络模型的参数数量不会随着时间步的增加而增加。

4、我们可以使用循环神经网络创建字符级语言模型。

相关推荐
chenqi3 分钟前
WebGPU和WebLLM:在浏览器中解锁端侧大模型的未来
前端·人工智能
罗西的思考37 分钟前
[2W字长文] 探秘Transformer系列之(23)--- 长度外推
人工智能·算法
小杨4042 小时前
python入门系列十四(多进程)
人工智能·python·pycharm
阿坡RPA17 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499317 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心17 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI19 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c20 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20520 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清20 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件