循环神经网络(RNN)

目录

1.序列模型的应用

2.循环神经网络(Recurrent Neural Network, RNN)

RNN的输入序列和输出序列的长度不一定一致。RNN也有不同的架构。

3.使用RNN构建一个语言模型(language model)

对于一个语言识别任务,对于一个输入的文本序列,语言模型能够给出对应的概率。

如何训练这样一个语言模型?

训练集:一个大的文本语料库(text corpus)。

例如,对于这样一个句子:Cats average 15 hours of sleep a day. 模型这样训练:

损失函数

为了解决RNN的梯度消失(vanishing gradient)问题,可以使用GRU(Gate Recurrent Unit门控循环单元) 或者LSTM(long short term memory units 长短期记忆网络)

4.双向RNN(bidirectional RNN)

该模型可以让你在序列的某点处,不仅可以获取之前的信息,还可以获取未来的信息。
**例如,**在"He said, Teddy Roosevelt was a great predient!"这段文本中,判断 "Teddy" 是不是人名,不仅要考虑之前的信息,还要考虑之后的信息。

5.深层RNN

当网络需要学习更为复杂的函数时,可以把RNN进行堆叠,构建更深的模型。

相关推荐
xwz小王子27 分钟前
Nature Communications 面向形状可编程磁性软材料的数据驱动设计方法—基于随机设计探索与神经网络的协同优化框架
深度学习
白熊18834 分钟前
【计算机视觉】CV实战项目 - 基于YOLOv5的人脸检测与关键点定位系统深度解析
人工智能·yolo·计算机视觉
nenchoumi311936 分钟前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
后端小肥肠1 小时前
文案号搞钱潜规则:日入四位数的Coze工作流我跑通了
人工智能·coze
LCHub低代码社区1 小时前
钧瓷产业原始创新的许昌共识:技术破壁·产业再造·生态重构(一)
大数据·人工智能·维格云·ai智能体·ai自动化·大禹智库·钧瓷码
-曾牛1 小时前
Spring AI 快速入门:从环境搭建到核心组件集成
java·人工智能·spring·ai·大模型·spring ai·开发环境搭建
阿川20151 小时前
云智融合普惠大模型AI,政务服务重构数智化路径
人工智能·华为云·政务·deepseek
自由鬼1 小时前
开源AI开发工具:OpenAI Codex CLI
人工智能·ai·开源·软件构建·开源软件·个人开发
生信碱移1 小时前
大语言模型时代,单细胞注释也需要集思广益(mLLMCelltype)
人工智能·经验分享·深度学习·语言模型·自然语言处理·数据挖掘·数据可视化
一个数据大开发2 小时前
解读《数据资产质量评估实施规则》:企业数据资产认证落地的关键指南
大数据·数据库·人工智能