深度学习---------------------------深度循环神经网络

目录

回顾:循环神经网络


RNN就一个隐藏的层,无法做的很宽,所以一般的做法是做的更深。(更深的时候是说每一层做一点点的非线性。)

怎么样把循环网络变深?怎么样获得更多的非线性

多加几个隐藏层

更深:



当前的第一个隐藏层 H t 1 H_{t}^{1} Ht1,第j层就是 H t j H_{t}^{j} Htj等于 f j f_j fj下(第j层的上一个时刻的H,第j-1层时刻的隐藏状态)


总结

深度循环神经网络使用多个隐藏层来获得更多的非线性性。


深度循环神经网络代码

python 复制代码
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
# 将数据集划分为以batch_size为批量大小,num_steps为时间步数的小批量数据
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 设置隐藏层数为2,即num_layers
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
# 将输入的维度设置为词汇表的大小,用于将词汇表中的词转换为嵌入向量
num_inputs = vocab_size
device = d2l.try_gpu()
# 创建 LSTM 层
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)
d2l.plt.show()


相关推荐
赵钰老师9 分钟前
【Deepseek、ChatGPT】智能气候前沿:AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·数据分析
AIGC-Lison9 分钟前
【CSDN首发】Stable Diffusion从零到精通学习路线分享
人工智能·ai·stable diffusion·aigc·sd
AI绘画咪酱10 分钟前
Stable Diffusion|Ai赋能电商 Inpaint Anything
人工智能·ai·ai作画·stable diffusion·sd·ai教程·sd教程
ruokkk11 分钟前
Spring AI MCP 客户端实战:轻松连接高德地图等工具
人工智能
_一条咸鱼_12 分钟前
AI Agent 工作原理深入剖析
人工智能
飞哥数智坊14 分钟前
AI编程实战:数据大屏生成初探
人工智能
蚝油菜花15 分钟前
Cua:Mac用户狂喜!这个开源框架让AI直接接管你的电脑,快速实现AI自动化办公
人工智能·开源
蚝油菜花15 分钟前
AutoAgent:无需编程!接入DeepSeek用自然语言创建和部署AI智能体!港大开源框架让AI智能体开发变成填空题
人工智能·开源
nuise_17 分钟前
李宏毅机器学习笔记06 | 鱼和熊掌可以兼得的机器学习 - 内容接宝可梦
人工智能·笔记·机器学习
声网31 分钟前
MiniMax 发布新 TTS 模型 Speech-02,轻松制作长篇有声内容;Meta 高端眼镜年底推出:售价上千美元丨日报
人工智能