深度学习---------------------------深度循环神经网络

目录

回顾:循环神经网络


RNN就一个隐藏的层,无法做的很宽,所以一般的做法是做的更深。(更深的时候是说每一层做一点点的非线性。)

怎么样把循环网络变深?怎么样获得更多的非线性

多加几个隐藏层

更深:



当前的第一个隐藏层 H t 1 H_{t}^{1} Ht1,第j层就是 H t j H_{t}^{j} Htj等于 f j f_j fj下(第j层的上一个时刻的H,第j-1层时刻的隐藏状态)


总结

深度循环神经网络使用多个隐藏层来获得更多的非线性性。


深度循环神经网络代码

python 复制代码
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
# 将数据集划分为以batch_size为批量大小,num_steps为时间步数的小批量数据
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 设置隐藏层数为2,即num_layers
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
# 将输入的维度设置为词汇表的大小,用于将词汇表中的词转换为嵌入向量
num_inputs = vocab_size
device = d2l.try_gpu()
# 创建 LSTM 层
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)
d2l.plt.show()


相关推荐
大霸王龙1 分钟前
LLM(语言学习模型)行为控制技术
python·深度学习·学习
oil欧哟4 分钟前
😎 MCP 从开发到发布全流程介绍,看完不踩坑!
人工智能·typescript·node.js
Code_流苏34 分钟前
AI知识补全(十四):零样本学习与少样本学习是什么?
人工智能·元学习·少样本学习·零样本学习·语义嵌入
Yvette-W37 分钟前
ChatGPT 迎来 4o模型:更强大的图像生成能力与潜在风险
人工智能·chatgpt
Shockang37 分钟前
机器学习的一百个概念(5)数据增强
人工智能·机器学习
洁洁!41 分钟前
数据采集助力AI大模型训练
前端·人工智能·easyui
平平无奇科研小天才1 小时前
scGPT环境安装
人工智能
xcLeigh1 小时前
计算机视觉入门:从像素到理解的旅程
人工智能·python·opencv·计算机视觉
喾颛顼1 小时前
Mac下小智AI本地环境部署
人工智能·经验分享·macos