循环神经网络(RNN)

目录

1.序列模型的应用

2.循环神经网络(Recurrent Neural Network, RNN)

RNN的输入序列和输出序列的长度不一定一致。RNN也有不同的架构。

3.使用RNN构建一个语言模型(language model)

对于一个语言识别任务,对于一个输入的文本序列,语言模型能够给出对应的概率。

如何训练这样一个语言模型?

训练集:一个大的文本语料库(text corpus)。

例如,对于这样一个句子:Cats average 15 hours of sleep a day. 模型这样训练:

损失函数

为了解决RNN的梯度消失(vanishing gradient)问题,可以使用GRU(Gate Recurrent Unit门控循环单元) 或者LSTM(long short term memory units 长短期记忆网络)

4.双向RNN(bidirectional RNN)

该模型可以让你在序列的某点处,不仅可以获取之前的信息,还可以获取未来的信息。
**例如,**在"He said, Teddy Roosevelt was a great predient!"这段文本中,判断 "Teddy" 是不是人名,不仅要考虑之前的信息,还要考虑之后的信息。

5.深层RNN

当网络需要学习更为复杂的函数时,可以把RNN进行堆叠,构建更深的模型。

相关推荐
小于小于大橙子3 小时前
视觉SLAM数学基础
人工智能·数码相机·自动化·自动驾驶·几何学
封步宇AIGC4 小时前
量化交易系统开发-实时行情自动化交易-3.4.2.Okex行情交易数据
人工智能·python·机器学习·数据挖掘
封步宇AIGC4 小时前
量化交易系统开发-实时行情自动化交易-2.技术栈
人工智能·python·机器学习·数据挖掘
陌上阳光5 小时前
动手学深度学习68 Transformer
人工智能·深度学习·transformer
OpenI启智社区5 小时前
共筑开源技术新篇章 | 2024 CCF中国开源大会盛大开幕
人工智能·开源·ccf中国开源大会·大湾区
AI服务老曹5 小时前
建立更及时、更有效的安全生产优化提升策略的智慧油站开源了
大数据·人工智能·物联网·开源·音视频
YRr YRr5 小时前
PyTorch:torchvision中的dataset的使用
人工智能
love_and_hope5 小时前
Pytorch学习--神经网络--完整的模型训练套路
人工智能·pytorch·python·深度学习·神经网络·学习
思通数据5 小时前
AI与OCR:数字档案馆图像扫描与文字识别技术实现与项目案例
大数据·人工智能·目标检测·计算机视觉·自然语言处理·数据挖掘·ocr
兔老大的胡萝卜6 小时前
关于 3D Engine Design for Virtual Globes(三维数字地球引擎设计)
人工智能·3d