循环神经网络

一、定义

1、潜变量自回归模型,使用潜变量ht总结过去信息

2、循环神经网络

(1)红框这一项如果去掉就跟MLP差不多,外层fai可以看做非线性函数(such:relu)

(2)当前的输出是为了预测当前的观察,没有对x建模,因为x的信息都存在h里面

(3)W_hh将对应的隐藏信息转化为真实信息, W_hh是将时序信息存放

3、困惑度

4、梯度剪裁

5、应用:文本生成、文本分类、问答、机器翻译、Tag生成

二、总结

1、对隐状态使用循环计算的神经网络称为循环神经网络(RNN)。

2、循环神经网络的隐状态可以捕获直到当前时间步序列的历史信息。

3、循环神经网络模型的参数数量不会随着时间步的增加而增加。

4、我们可以使用循环神经网络创建字符级语言模型。

相关推荐
江_小_白1 小时前
自动驾驶之激光雷达
人工智能·机器学习·自动驾驶
yusaisai大鱼2 小时前
TensorFlow如何调用GPU?
人工智能·tensorflow
珠海新立电子科技有限公司5 小时前
FPC柔性线路板与智能生活的融合
人工智能·生活·制造
IT古董5 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
曼城周杰伦5 小时前
自然语言处理:第六十三章 阿里Qwen2 & 2.5系列
人工智能·阿里云·语言模型·自然语言处理·chatgpt·nlp·gpt-3
余炜yw6 小时前
【LSTM实战】跨越千年,赋诗成文:用LSTM重现唐诗的韵律与情感
人工智能·rnn·深度学习
莫叫石榴姐6 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
96776 小时前
对抗样本存在的原因
深度学习
如若1236 小时前
利用 `OpenCV` 和 `Matplotlib` 库进行图像读取、颜色空间转换、掩膜创建、颜色替换
人工智能·opencv·matplotlib
YRr YRr7 小时前
深度学习:神经网络中的损失函数的使用
人工智能·深度学习·神经网络