机器学习-pytorch1(持续更新)

上一节我们学习了机器学习的线性模型和非线性模型的机器学习基础知识,这一节主要将公式变为代码

代码编写网站:https://colab.research.google.com/drive

学习课程链接:ML 2022 Spring

1、Load Data(读取数据)

这需要用到pytorch里面的两个函数Dataset和Dataloader

python 复制代码
torch.utils.data.Dataset
torch.utils.data.DataLoader

Dataset:是用来存储数据样本和期望值

python 复制代码
dataset = MyDataset(file)

Dataloader:批量对数据进行分组,启用多处理

python 复制代码
dataloader = DataLoader(dataset, batch_size, shuffle=True)

// 其中对于shuffle的取值,True表示训练,false表示测试

关于Dataset和Dataloader的关系如下:

ML 2022 Spring为图片来源

我们读取完数据,是不是想知道我们的数据长什么样子呢?(我们称数据为Tensors)

首先,它可能是一个一维数据,比如一个音频、一个温度

其次,还可能是一个二维数据,比如一张二值图像

最后,还可能是一个三维数据,比如一个彩色的图像

又有问题了,我们怎么通过编程得到我们图像的大小?

可以使用pytorch里面的shape()函数

我们怎么通过编程创造我们的数据呢?

python 复制代码
eg:
x = torch.tensor([[1,-1],[-1,1]])
x = torch.from_numpy(np.array([[1,-1],[-1,1]]))
全0或全1数据
x = torch.zeros([2,2])    # 2*2的全0数据
x = torch.ones([1,2,5])    # 1*2*5的全1数据

其次,还支持矩阵的运算

python 复制代码
Addition:z = x + y
Subtraction:z = x - y
Power:y = x.pow(2)
Summation:y = x.sum()
Mean:y = x.mean()
维度转换:x = x.transpose(dim0,dim1)
消除维度:x = x.squeeze(dim)
增加维度:x = x.unsqueeze(dim)
组合:w = torch.cat([x,y,z],dim=1)

拥有不同的数据类型:

使用.to()可以切换到不同的设备:

python 复制代码
CPU: x = x.to('cpu')
GPU: x = x.to('cuda')

这里就又涉及到如何检查你的GPU了?可以使用以下语句检查你的计算机是否有GPU:

python 复制代码
torch.cuda.is_available()

如何计算梯度?

// 注意矩阵一定要使用小数点

2、Define Neural Network(训练和测试神经网络)

python 复制代码
torch.nn.Module

线性:

非线性:

Sigmoid Activation:nn.Sigmoid()

ReLU Activation:nn.ReLU()

下面我根据所学的知识构建我自己的神经网络:

3、Loss Function(损失函数)

python 复制代码
x = torch.nn.MSELoss    # 对于回归任务
x = torch.nn.CrossEntropyLoss etc.    # 对于分类任务
loss = x(model_output,expected_value)

4、Optimization Algorithm(优化)

python 复制代码
torch.optim

这是基于梯度的优化算法,不断调整参数,减少误差

比如:随机梯度下降(SGD)

python 复制代码
torch.optim.SGD(model.parameters(), lr, momentum = 0)

* 调用optimizer.zero_grad()重置模型参数的梯度。

*调用loss.backward()反向传播预测loss的梯度。

*调用optimizer.step()调整模型参数。

5、Entire Procedure(整个程序)

python 复制代码
import torch.utils.data as data
dataset = data.Dataset(file)              # 读取数据
tr_set = DataLoader(dataset,batch_size,shuffle=True)  # 对数据集进行分组
model = MyModel().to(device)              # 建立我的模型并且选择我的设备(cpu or gpu)
criterion = nn.MSELoss()                # 建立损失函数
optimizer = torch.optim.SGD(model.parameters(),0.1)   # 建立优化
# 训练
for epoch in range(n_epochs):             # 迭代数据
  model.train()                    # 训练模型
  for x, y in tr_set:               # 迭代数据集
    optimizer.zero_grad()              # 设置梯度为0
    x, y = x.to(device),y.to(device)       # 将数据移动到设备
    pred = model(x)                # 计算输出
    loss = criterion(pred,y)            # 计算损失函数
    loss.backward()                 # 计算反向梯度
    optimizer.model()                # 优化模型
# 验证
model.eval()                      # 将模型设置为评估模式
total_loss = 0          
for x,y in dv_set:                  # 对数据集进行迭代
  x,y = x.to(device),y.to(device)          # 将数据移动到涉笔
  with torch.no_grad():                # 不可迭代的计算
    pred = model(x)                # 计算输出
    loss = criterion(pred,y)           # 计算损失函数
  total_loss += loss.cpu().item()*len(x)      # 累加损失误差
  avg_loss = total_loss / len(dv_set.dataset)   # 计算平均损失
# 测试
model.eval()                       # 将模型设置为评估模式
preds = []
for x in dv_set:                   # 对数据集进行迭代
  x = x.to(device)                  # 将数据移动到涉笔
  with torch.no_grad():                # 不可迭代的计算
    pred = model(x)                # 计算输出
    preds.append(pred.cpu())             # 收集预测

// model.eval() :更改模型的行为

// with torch.no_grad() :防止对验证/测试数据进行意外训练

当我们训练完模型,也完成了测试,为了不使模型丢失,我们需要保存模型,pytorch也为我们提供了保存模型的方法。

保存模型:torch.save(model.state_dict(),path)

下次我们使用已经训练完成的模型,或者想继续训练,我们需要读取模型。

读取模型:ckpt = torch.load(path) model.load_state_dict(ckpt)

// 这只是我根据所听的课自己写的笔记,如果有什么错误欢迎指正!!!

相关推荐
白雪讲堂6 分钟前
AI搜索品牌曝光资料包(精准适配文心一言/Kimi/DeepSeek等场景)
大数据·人工智能·搜索引擎·ai·文心一言·deepseek
斯汤雷12 分钟前
Matlab绘图案例,设置图片大小,坐标轴比例为黄金比
数据库·人工智能·算法·matlab·信息可视化
ejinxian19 分钟前
Spring AI Alibaba 快速开发生成式 Java AI 应用
java·人工智能·spring
葡萄成熟时_23 分钟前
【第十三届“泰迪杯”数据挖掘挑战赛】【2025泰迪杯】【代码篇】A题解题全流程(持续更新)
人工智能·数据挖掘
机器之心37 分钟前
一篇论文,看见百度广告推荐系统在大模型时代的革新
人工智能
机器之心41 分钟前
视觉SSL终于追上了CLIP!Yann LeCun、谢赛宁等新作,逆转VQA任务固有认知
人工智能
赣州云智科技的技术铺子1 小时前
【一步步开发AI运动APP】六、运动计时计数能调用
人工智能·程序员
东临碣石821 小时前
【AI论文】什么、如何、何处以及效果如何?大语言模型测试时缩放技术调研
人工智能