循环神经网络

一、定义

1、潜变量自回归模型,使用潜变量ht总结过去信息

2、循环神经网络

(1)红框这一项如果去掉就跟MLP差不多,外层fai可以看做非线性函数(such:relu)

(2)当前的输出是为了预测当前的观察,没有对x建模,因为x的信息都存在h里面

(3)W_hh将对应的隐藏信息转化为真实信息, W_hh是将时序信息存放

3、困惑度

4、梯度剪裁

5、应用:文本生成、文本分类、问答、机器翻译、Tag生成

二、总结

1、对隐状态使用循环计算的神经网络称为循环神经网络(RNN)。

2、循环神经网络的隐状态可以捕获直到当前时间步序列的历史信息。

3、循环神经网络模型的参数数量不会随着时间步的增加而增加。

4、我们可以使用循环神经网络创建字符级语言模型。

相关推荐
沉下心来学鲁班8 分钟前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k8 分钟前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
YRr YRr17 分钟前
深度学习:循环神经网络(RNN)详解
人工智能·rnn·深度学习
sp_fyf_202429 分钟前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘
红客59730 分钟前
Transformer和BERT的区别
深度学习·bert·transformer
多吃轻食33 分钟前
大模型微调技术 --> 脉络
人工智能·深度学习·神经网络·自然语言处理·embedding
charles_vaez1 小时前
开源模型应用落地-glm模型小试-glm-4-9b-chat-快速体验(一)
深度学习·语言模型·自然语言处理
北京搜维尔科技有限公司1 小时前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全
说私域1 小时前
基于开源 AI 智能名片 S2B2C 商城小程序的视频号交易小程序优化研究
人工智能·小程序·零售
YRr YRr1 小时前
深度学习:Transformer Decoder详解
人工智能·深度学习·transformer