循环神经网络(RNN)

目录

1.序列模型的应用

2.循环神经网络(Recurrent Neural Network, RNN)

RNN的输入序列和输出序列的长度不一定一致。RNN也有不同的架构。

3.使用RNN构建一个语言模型(language model)

对于一个语言识别任务,对于一个输入的文本序列,语言模型能够给出对应的概率。

如何训练这样一个语言模型?

训练集:一个大的文本语料库(text corpus)。

例如,对于这样一个句子:Cats average 15 hours of sleep a day. 模型这样训练:

损失函数

为了解决RNN的梯度消失(vanishing gradient)问题,可以使用GRU(Gate Recurrent Unit门控循环单元) 或者LSTM(long short term memory units 长短期记忆网络)

4.双向RNN(bidirectional RNN)

该模型可以让你在序列的某点处,不仅可以获取之前的信息,还可以获取未来的信息。
**例如,**在"He said, Teddy Roosevelt was a great predient!"这段文本中,判断 "Teddy" 是不是人名,不仅要考虑之前的信息,还要考虑之后的信息。

5.深层RNN

当网络需要学习更为复杂的函数时,可以把RNN进行堆叠,构建更深的模型。

相关推荐
AndrewHZ9 分钟前
【图像处理基石】如何入门大规模三维重建?
人工智能·深度学习·大模型·llm·三维重建·立体视觉·大规模三维重建
5G行业应用13 分钟前
【赠书福利,回馈公号读者】《智慧城市与智能网联汽车,融合创新发展之路》
人工智能·汽车·智慧城市
悟空胆好小22 分钟前
分音塔科技(BABEL Technology) 的公司背景、股权构成、产品类型及技术能力的全方位解读
网络·人工智能·科技·嵌入式硬件
探讨探讨AGV22 分钟前
以科技赋能未来,科聪持续支持青年创新实践 —— 第七届“科聪杯”浙江省大学生智能机器人创意竞赛圆满落幕
人工智能·科技·机器人
cwn_39 分钟前
回归(多项式回归)
人工智能·机器学习·数据挖掘·回归
聚客AI1 小时前
🔥 大模型开发进阶:基于LangChain的异步流式响应与性能优化
人工智能·langchain·agent
CareyWYR1 小时前
每周AI论文速递(250707-250711)
人工智能
AI街潜水的八角2 小时前
深度学习图像分类数据集—五种电器识别分类
人工智能·深度学习·分类
众链网络2 小时前
AI进化论08:机器学习的崛起——数据和算法的“二人转”,AI“闷声发大财”
人工智能·算法·机器学习
生命是有光的2 小时前
【机器学习】机器学习基础
人工智能·机器学习