【PyTorch】autograd与逻辑回归

autograd -- 自动求导系统

torch.autograd

autograd

torch.autograd.backward

功能:自动求取梯度

  • tensor:用于求导的张量,如loss
  • retain_graph:保存计算图
  • create_graph:创建导数计算图,用于高阶求导
  • grad_tensors:多梯度权重

torch.autograd.grad

功能:求取梯度

  • outputs:用于求导的张量,如loss
  • inputs:需要梯度的张量
  • create_graph:创建导数计算图,用于高阶求导
  • retain_graph:保存计算图
  • grad_outputs:多梯度权重

autograd小贴士

  1. 梯度不自动清零
  2. 依赖于叶子结点的结点,requires_grad 默认为为 True
  3. 叶子结点不可执行 in-place

逻辑回归

Logistic Regression

基本概念

逻辑回归是线性二分类 模型

线性回归与逻辑回归的区别

线性回归是分析自变量x与因变量y(标量)之间关系的方法

逻辑回归是分析自变量x与因变量y(概率)之间关系的方法

机器学习模型训练步骤

PyTorch 构建模型需要 5 大步骤:

  • 数据:包括数据读取,数据清洗,进行数据划分和数据预处理,比如读取图片如何预处理及数据增强。
  • 模型:包括构建模型模块,组织复杂网络,初始化网络参数,定义网络层。
  • 损失函数:包括创建损失函数,设置损失函数超参数,根据不同任务选择合适的损失函数。
  • 优化器:包括根据梯度使用某种优化器更新参数,管理模型参数,管理多个参数组实现不同学习率,调整学习率。
  • 迭代训练:组织上面 4 个模块进行反复训练。包括观察训练效果,绘制 Loss/ Accuracy 曲线,用 TensorBoard 进行可视化分析。

参考链接

PyTorch 学习笔记

相关推荐
AI 嗯啦1 分钟前
计算机视觉----图像投影(透视)变换(小案例)
人工智能·opencv·计算机视觉
ZEGO即构开发者5 分钟前
【ZEGO即构开发者日报】微信公众号上线“智能回复”功能;2025年8月中国应用/游戏厂商出海收入Top30榜;土耳其宣布将封禁29款社交/社媒应用……
人工智能·实时音视频·业界资讯·娱乐
serve the people38 分钟前
召回率(Recall)
人工智能
迦蓝叶1 小时前
JAiRouter 0.8.0 发布:Docker 全自动化交付 + 多架构镜像,一键上线不是梦
java·人工智能·网关·docker·ai·架构·自动化
wzx_Eleven1 小时前
【论文阅读】Towards Privacy-Enhanced and Robust Clustered Federated Learning
论文阅读·人工智能·算法·机器学习·支持向量机·网络安全
CV-杨帆2 小时前
大模型在题目生成中的安全风险研究综述
人工智能·深度学习·安全
DisonTangor2 小时前
【阿里拥抱开源】Qwen团队开源新一代深度思考模型——Qwen3-Next-80B-A3B-Thinking
人工智能·学习·语言模型·开源·aigc
过河卒_zh15667663 小时前
9.12AI简报丨腾讯投资AI游戏平台,B站开源AniSora V3
人工智能·算法·游戏·aigc·算法备案·生成合成类算法备案
补三补四3 小时前
神经网络基本概念
人工智能·深度学习·神经网络