基于PyTorch的深度学习4——使用numpy实现机器学习vs使用Tensor及Antograd实现机器学习

首先,给出一个数组x,然后基于表达式y=3x2+2,加上一些噪音数据到达另一组数据y。然后,构建一个机器学习模型,学习表达式y=wx2+b的两个参数w、b。利用数组x,y的数据为训练数据。最后,采用梯度梯度下降法,通过多次迭代,学习到w、b的值。以下为具体步骤:

1)导入需要的库。

复制代码
import numpy as np
%matplotlib inline
from matplotlib import pyplot as plt

2)生成输入数据x及目标数据y

设置随机数种子,方便多种方法进行比较

复制代码
np.random.seed(100)

x=np.linspace(-1,1,100).reshape(100,1)#我们把原本一维的、有100个元素的数组转换成了一个具有100行# 和1列的二维数组,也就是一个列向量。

y=3*np.power(x,2)+2+0.2*np.random.rand(x.size).reshape(100,1)
#创建了一个新的变量 y,它表示的是基于 x 计算出的一个二次多项式 y=3x^2+2,再加上一些小的随机噪声,这些噪声的大小在 [0, 0.2) 范围内随机变化。

3)初始化权重参数

复制代码
w1=np.random.rand(1,1)
b1=np.random.rand(1,1)
  1. 训练模型

定义损失函数,假设批量大小为100,对损失函数求导,利用梯度下降法学习参数(学习率为lr)

复制代码
import numpy as np

# 假设 x, y 已经定义好
# 初始化参数
w1 = np.random.randn()  # 随机初始化权重
b1 = np.random.randn()  # 随机初始化偏置
lr = 0.001  # 学习率

for i in range(800):  # 迭代800次
    # 前向传播
    y_pred = np.power(x, 2) * w1 + b1
    
    # 定义损失函数
    loss = 0.5 * np.sum((y_pred - y) ** 2)
    
    # 计算梯度
    grad_w = np.sum((y_pred - y) * np.power(x, 2))
    grad_b = np.sum(y_pred - y)
    
    # 使用梯度下降法更新参数
    w1 -= lr * grad_w
    b1 -= lr * grad_b

这个过程实际上是在寻找使得预测值 y_pred 尽可能接近真实值 y 的最佳参数组合 (w1, b1)。通过不断调整这些参数,我们可以逐渐减小损失函数的值,从而提高模型的准确性。


本节我们将使用PyTorch的一个自动求导的包------antograd,利用这个包及对应的Tensor,便可利用自动反向传播来求梯度,无须手工计算梯度。以下是具体实现代码。

1)导入需要的库。

复制代码
import torch as t
%matplotlib inline
from matplotlib import pyplot as plt

2)生成训练数据,并可视化数据分布情况

复制代码
t.manual_seed(100)
dtype=t.float

#生成x坐标数据,x为tensor,需要把x的形状转换为100x1
x=t.unsqueeze(torch.linspace(-1,1,100),dim=1)

#生成y坐标数据,y为tensor,形状为100x1,另外加上一些噪声
y=3*.x.pow(2)+2+0.2*torch.rand(x.size())
  1. 初始化权重参数

    参数w,b为需要学习,所以requires_grad=True

    w=t.randn(1,1,dtype=dtype,requires_grad=True)
    b=t.zeros(1,1,dtype=dtype,requires_grad=True)

4)训练模型

复制代码
import torch as t

# 假设 x, y, w, b 已经定义好,并且 w 和 b 需要是 requires_grad=True 的张量
lr = 0.001  # 学习率

for ii in range(800):
    # 前向传播,并定义损失函数 loss
    y_pred = x.pow(2).mm(w) + b
    loss = 0.5 * (y_pred - y).pow(2).sum()

    # 自动计算梯度,梯度保存在 grad 属性中
    loss.backward()

    # 手动更新参数,需要用 torch.no_grad(),使上下文环境中切断自动求导的计算
    with t.no_grad():
        w -= lr * w.grad
        b -= lr * b.grad

        # 梯度清零
        w.grad.zero_()
        b.grad.zero_()
  • 使用 torch.no_grad() 上下文管理器来临时禁用自动求导,以便在不需要跟踪这些操作的情况下更新权重和偏置。这是因为我们只希望向前传递时记录操作用于自动求导,而在更新权重时则不需要。
  • w -= lr * w.gradb -= lr * b.grad:按照梯度下降的方式更新权重和偏置。
  • w.grad.zero_()b.grad.zero_():在每次更新之后,需要手动将梯度清零,否则梯度会累积,导致错误的更新步骤。
相关推荐
山烛7 分钟前
KNN 算法中的各种距离:从原理到应用
人工智能·python·算法·机器学习·knn·k近邻算法·距离公式
墨染点香26 分钟前
第七章 Pytorch构建模型详解【构建CIFAR10模型结构】
人工智能·pytorch·python
兮℡檬,3 小时前
房价预测|Pytorch
人工智能·pytorch·python
青春不败 177-3266-05204 小时前
MATLAB近红外光谱分析技术及实践技术应用
随机森林·机器学习·支持向量机·matlab·卷积神经网络·遗传算法·近红外光谱
NeoFii10 小时前
Day 22: 复习
机器学习
码字的字节12 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄121312 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
巫婆理发22212 小时前
强化学习(第三课第三周)
python·机器学习·深度神经网络
碳酸的唐12 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
AI赋能12 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶