Pytorch 对比TensorFlow 学习:Day 17-18: 循环神经网络(RNN)和LSTM

Day 17-18: 循环神经网络(RNN)和LSTM

在这两天的学习中,我专注于理解循环神经网络(RNN)和长短期记忆网络(LSTM)的基本概念,并学习了它们在处理序列数据时的应用。

1.RNN和LSTM基础:

RNN:了解了RNN是如何处理序列数据的,特别是它的循环结构可以用于处理时间序列或连续数据。

LSTM:学习了LSTM作为RNN的一种改进,它通过引入遗忘门、输入门和输出门解决了RNN的长期依赖问题。

2.实践应用:

使用这些概念来处理一个简单的序列数据任务,例如时间序列预测或文本数据处理。

构建一个包含RNN或LSTM层的神经网络模型。

3.PyTorch和TensorFlow实现:

在PyTorch中,使用nn.RNN或nn.LSTM来实现这些网络。

在TensorFlow中,使用Keras的SimpleRNN或LSTM层。

PyTorch代码示例:

import torch

import torch.nn as nn

import torch.optim as optim

class SimpleLSTM(nn.Module):#定义一个简单的LSTM模型

def init (self, input_size, hidden_size, num_classes):

super(SimpleLSTM, self).init ()

self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True)

self.fc = nn.Linear(hidden_size, num_classes)

def forward(self, x):

初始隐藏状态和细胞状态

h0 = torch.zeros(1, x.size(0), hidden_size)

c0 = torch.zeros(1, x.size(0), hidden_size)

前向传播

out, _ = self.lstm(x, (h0, c0))

out = out[:, -1, :]

out = self.fc(out)

return out

#实例化模型、定义损失函数和优化器

input_size = 10 # 输入数据的特征维度

hidden_size = 20 # 隐藏层特征维度

num_classes = 2 # 输出类别数

model = SimpleLSTM(input_size, hidden_size, num_classes)

criterion = nn.CrossEntropyLoss()

optimizer = optim.Adam(model.parameters(), lr=0.001)

TensorFlow代码示例

import tensorflow as tf

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import LSTM, Dense

#定义一个简单的LSTM模型

model = Sequential([

LSTM(20, input_shape=(None, 10)), # 输入序列的长度任意,特征维度为10

Dense(2, activation='softmax') # 假设是二分类问题

])

#编译模型

model.compile(optimizer='adam',

loss='sparse_categorical_crossentropy',

metrics=['accuracy'])

#模型概要

model.summary()

相关推荐
本郡主是喵1 小时前
用 TypeScript 进行 Truffle 测试
学习·区块链
武文斌772 小时前
复习总结最终版:单片机
linux·单片机·嵌入式硬件·学习
sealaugh323 小时前
AI(学习笔记第十二课) 使用langsmith的agents
人工智能·笔记·学习
QZ_orz_freedom3 小时前
学习笔记--事务管理
笔记·学习
im_AMBER4 小时前
Web 开发 30
前端·笔记·后端·学习·web
试试勇气5 小时前
Linux学习笔记(八)--环境变量与进程地址空间
linux·笔记·学习
蒙奇D索大5 小时前
【数据结构】考研数据结构核心考点:平衡二叉树(AVL树)详解——平衡因子与4大旋转操作入门指南
数据结构·笔记·学习·考研·改行学it
andwhataboutit?6 小时前
Docker Compose学习
学习·docker·容器
im_AMBER6 小时前
数据结构 04 栈和队列
数据结构·笔记·学习
尘似鹤6 小时前
微信小程序学习(六)--多媒体操作
学习·微信小程序·小程序