PyTorch 深度学习之循环神经网络(基础篇)Basic RNN(十一)

0.Revision: DNN dense 重义层 全连接

RNN处理带有序列的数据

1. What is RNNs?

linear layer

1.1 What is RNN?

tanh (-1, +1)

1.2 RNN Cell in PyTorch

1.3 How to use RNNCell

*先把维度搞清楚 多了一个序列的维度

2. How to use RNN

2.1 How to use RNN - numLayers

2.2 How to use RNN

如果有batch_first:

3. Example 12-1:Using RNNCell

seq->seq

独热向量

Code-Prepare Data

Design Model

Loss and Optimizer

Training Cycle

Result

4. Example 12-2:Using RNN

Change Model

Result

5. Associate a vetcor with a word/character

嵌入层

5.1 One hot vs embedding

数据降维

5.2 Embedding in PyTorch

6. Example 12-3:Using embedding and linear layer

7. Exercise 12 - 1 Using LSTM

8. Exercise 12 - 1 Using GRU

知识点:

1.序列Data

2.循环共享

相关推荐
高洁015 小时前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
意念回复13 小时前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
哈尔滨张谦蛋1 天前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
chh5632 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
汤姆宝库2 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi2 天前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
AI小怪兽2 天前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
罗西的思考3 天前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
Be for thing3 天前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习