循环神经网络(RNN)

目录

1.序列模型的应用

2.循环神经网络(Recurrent Neural Network, RNN)

RNN的输入序列和输出序列的长度不一定一致。RNN也有不同的架构。

3.使用RNN构建一个语言模型(language model)

对于一个语言识别任务,对于一个输入的文本序列,语言模型能够给出对应的概率。

如何训练这样一个语言模型?

训练集:一个大的文本语料库(text corpus)。

例如,对于这样一个句子:Cats average 15 hours of sleep a day. 模型这样训练:

损失函数

为了解决RNN的梯度消失(vanishing gradient)问题,可以使用GRU(Gate Recurrent Unit门控循环单元) 或者LSTM(long short term memory units 长短期记忆网络)

4.双向RNN(bidirectional RNN)

该模型可以让你在序列的某点处,不仅可以获取之前的信息,还可以获取未来的信息。
**例如,**在"He said, Teddy Roosevelt was a great predient!"这段文本中,判断 "Teddy" 是不是人名,不仅要考虑之前的信息,还要考虑之后的信息。

5.深层RNN

当网络需要学习更为复杂的函数时,可以把RNN进行堆叠,构建更深的模型。

相关推荐
GIS数据转换器3 分钟前
在机器人和无人机时代,测绘人的出路在哪里?
大数据·人工智能·信息可视化·机器人·自动驾驶·汽车·无人机
FSGF3235 分钟前
大模型MCP:模块化计算的革命性突破
人工智能·mcp
Dm_dotnet43 分钟前
C#连接小智服务器并将音频解码播放过程记录
人工智能
Shockang44 分钟前
机器学习的一百个概念(4)下采样
人工智能·机器学习
Shockang1 小时前
机器学习的一百个概念(3)上采样
人工智能·机器学习
炼数成金1 小时前
程序员副业暴利指南:用Python+AI在小红书月入1W+的终极玩法
人工智能·程序员
智源社区1 小时前
PyTorch Day 首次登陆 2025 智源大会!论文征集开启
人工智能·pytorch·python·深度学习·机器学习
摸鱼仙人~2 小时前
AI三大主义 和 深度学习三大主义
人工智能·学习
milo.qu2 小时前
AI人工智能-PyCharm的介绍&安装&应用
人工智能·python·pycharm
Elastic 中国社区官方博客2 小时前
Elasticsearch:使用 Azure AI 文档智能解析 PDF 文本和表格数据
大数据·人工智能·elasticsearch·搜索引擎·pdf·全文检索·azure