PyTorch高阶技巧:构建非线性分类器与梯度优化全解析

本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习视频及资料,尽在聚客AI学院

一. 单层神经元实现线性回归

1.1 线性模型数学原理

线性回归模型定义为:

y=w⋅x+by=w⋅x+b

其中:

  • ww:权重(Weight)

  • bb:偏置(Bias)

  • xx:输入特征

  • yy:预测输出

目标:通过最小化均方误差(MSE)损失函数学习参数:

1.2 PyTorch实现代码

python 复制代码
import torch  
import matplotlib.pyplot as plt  
# 生成数据  
X = torch.linspace(0, 10, 100).reshape(-1, 1)  
y = 3 * X + 2 + torch.randn(100, 1) * 2  # 添加噪声  
# 定义模型  
class LinearModel(torch.nn.Module):  
    def __init__(self):  
        super().__init__()  
        self.linear = torch.nn.Linear(1, 1)  # 单层神经元  
    def forward(self, x):  
        return self.linear(x)  
model = LinearModel()  
criterion = torch.nn.MSELoss()  
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)  
# 训练循环  
losses = []  
for epoch in range(100):  
    pred = model(X)  
    loss = criterion(pred, y)  
    optimizer.zero_grad()  
    loss.backward()  
    optimizer.step()  
    losses.append(loss.item())  
# 可视化  
plt.scatter(X.numpy(), y.numpy(), label='Data')  
plt.plot(X.numpy(), model(X).detach().numpy(), 'r', label='Fitted Line')  
plt.legend()  
plt.show()

二. 线性模型实现二分类

2.1 逻辑回归原理

将线性输出通过Sigmoid函数映射到(0,1)区间:

损失函数使用二元交叉熵(BCE):

2.2 代码实现与决策边界

python 复制代码
from sklearn.datasets import make_moons  
# 生成二分类数据集  
X, y = make_moons(n_samples=200, noise=0.1)  
X = torch.tensor(X, dtype=torch.float32)  
y = torch.tensor(y, dtype=torch.float32).reshape(-1, 1)  
# 定义模型(增加Sigmoid激活)  
class LogisticRegression(torch.nn.Module):  
    def __init__(self):  
        super().__init__()  
        self.linear = torch.nn.Linear(2, 1)  
        self.sigmoid = torch.nn.Sigmoid()  
    def forward(self, x):  
        return self.sigmoid(self.linear(x))  
model = LogisticRegression()  
criterion = torch.nn.BCELoss()  
optimizer = torch.optim.Adam(model.parameters(), lr=0.1)  
# 训练  
for epoch in range(1000):  
    pred = model(X)  
    loss = criterion(pred, y)  
    optimizer.zero_grad()  
    loss.backward()  
    optimizer.step()  
# 可视化决策边界  
def plot_decision_boundary(model, X, y):  
    x_min, x_max = X[:,0].min()-0.5, X[:,0].max()+0.5  
    y_min, y_max = X[:,1].min()-0.5, X[:,1].max()+0.5  
    xx, yy = torch.meshgrid(torch.linspace(x_min, x_max, 100),  
                           torch.linspace(y_min, y_max, 100))  
    grid = torch.cat((xx.reshape(-1,1), yy.reshape(-1,1)), dim=1)  
    probs = model(grid).reshape(xx.shape)  
    plt.contourf(xx, yy, probs > 0.5, alpha=0.3)  
    plt.scatter(X[:,0], X[:,1], c=y.squeeze(), edgecolors='k')  
    plt.show()  
plot_decision_boundary(model, X, y)

关键输出

  • 训练后准确率 > 85%

  • 决策边界图显示线性分类器的局限性

三. 多层感知机(MLP)手动推导与实现

3.1 手动推导反向传播

网络结构:输入层(2) → 隐藏层(4, ReLU) → 输出层(1, Sigmoid)

前向传播

反向传播梯度计算

3.2 PyTorch自动梯度实现

python 复制代码
class MLP(torch.nn.Module):  
    def __init__(self):  
        super().__init__()  
        self.fc1 = torch.nn.Linear(2, 4)  
        self.fc2 = torch.nn.Linear(4, 1)  
        self.relu = torch.nn.ReLU()  
        self.sigmoid = torch.nn.Sigmoid()  
    def forward(self, x):  
        x = self.relu(self.fc1(x))  
        x = self.sigmoid(self.fc2(x))  
        return x  
model = MLP()  
optimizer = torch.optim.Adam(model.parameters(), lr=0.05)  
# 复用之前的训练循环  
# ...  
plot_decision_boundary(model, X, y)  # 显示非线性决策边界

优化技巧

  • 权重初始化 :torch.nn.init.kaiming_normal_(self.fc1.weight)

  • 学习率调度 :scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)

  • 梯度裁剪 :torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

四. 总结

4.1 核心要点总结

附:完整训练监控代码

python 复制代码
from torch.utils.tensorboard import SummaryWriter  
writer = SummaryWriter()  
for epoch in range(1000):  
    pred = model(X)  
    loss = criterion(pred, y)  
    acc = ((pred > 0.5) == y).float().mean()  
    optimizer.zero_grad()  
    loss.backward()  
    optimizer.step()  
    writer.add_scalar('Loss/train', loss.item(), epoch)  
    writer.add_scalar('Accuracy/train', acc.item(), epoch)  
# 启动TensorBoard  
# tensorboard --logdir=runs

:本文代码基于PyTorch 2.0+实现,运行前需安装:

bash 复制代码
pip install torch matplotlib scikit-learn tensorboard

如果本次分享对你有所帮助,记得告诉身边有需要的朋友,"我们正在经历的不仅是技术迭代,而是认知革命。当人类智慧与机器智能形成共生关系,文明的火种将在新的维度延续。"在这场波澜壮阔的文明跃迁中,主动拥抱AI时代,就是掌握打开新纪元之门的密钥,让每个人都能在智能化的星辰大海中,找到属于自己的航向。

相关推荐
F_D_Z3 分钟前
【PyTorch】图像多分类项目部署
人工智能·pytorch·python·深度学习·分类
音视频牛哥2 小时前
打通视频到AI的第一公里:轻量RTSP服务如何重塑边缘感知入口?
人工智能·计算机视觉·音视频·大牛直播sdk·机器视觉·轻量级rtsp服务·ai人工智能
Wendy14413 小时前
【灰度实验】——图像预处理(OpenCV)
人工智能·opencv·计算机视觉
中杯可乐多加冰3 小时前
五大低代码平台横向深度测评:smardaten 2.0领衔AI原型设计
人工智能
无线图像传输研究探索3 小时前
单兵图传终端:移动场景中的 “实时感知神经”
网络·人工智能·5g·无线图传·5g单兵图传
Aronup3 小时前
NLP学习开始01-线性回归
学习·自然语言处理·线性回归
zzywxc7874 小时前
AI在编程、测试、数据分析等领域的前沿应用(技术报告)
人工智能·深度学习·机器学习·数据挖掘·数据分析·自动化·ai编程
铭keny4 小时前
YOLOv8 基于RTSP流目标检测
人工智能·yolo·目标检测
墨尘游子5 小时前
11-大语言模型—Transformer 盖楼,BERT 装修,RoBERTa 直接 “拎包入住”|预训练白话指南
人工智能·语言模型·自然语言处理
金井PRATHAMA5 小时前
主要分布于内侧内嗅皮层的层Ⅲ的网格-速度联合细胞(Grid × Speed Conjunctive Cells)对NLP中的深层语义分析的积极影响和启示
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·知识图谱