深度学习---------------------------深度循环神经网络

目录

回顾:循环神经网络


RNN就一个隐藏的层,无法做的很宽,所以一般的做法是做的更深。(更深的时候是说每一层做一点点的非线性。)

怎么样把循环网络变深?怎么样获得更多的非线性?

多加几个隐藏层。

更深:



当前的第一个隐藏层 H t 1 H_{t}^{1} Ht1,第j层就是 H t j H_{t}^{j} Htj等于 f j f_j fj下(第j层的上一个时刻的H,第j-1层时刻的隐藏状态)


总结

深度循环神经网络使用多个隐藏层来获得更多的非线性性。


深度循环神经网络代码

python 复制代码
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
# 将数据集划分为以batch_size为批量大小,num_steps为时间步数的小批量数据
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 设置隐藏层数为2,即num_layers
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
# 将输入的维度设置为词汇表的大小,用于将词汇表中的词转换为嵌入向量
num_inputs = vocab_size
device = d2l.try_gpu()
# 创建 LSTM 层
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)
d2l.plt.show()


相关推荐
VIP_CQCRE12 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷13 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我13 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0113 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn14 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄15 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下15 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码15 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下16 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩16 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek