autograd -- 自动求导系统
torch.autograd
autograd
torch.autograd.backward
功能:自动求取梯度
- tensor:用于求导的张量,如loss
- retain_graph:保存计算图
- create_graph:创建导数计算图,用于高阶求导
- grad_tensors:多梯度权重
torch.autograd.grad
功能:求取梯度
- outputs:用于求导的张量,如loss
- inputs:需要梯度的张量
- create_graph:创建导数计算图,用于高阶求导
- retain_graph:保存计算图
- grad_outputs:多梯度权重
autograd小贴士
- 梯度不自动清零
- 依赖于叶子结点的结点,requires_grad 默认为为 True
- 叶子结点不可执行 in-place
逻辑回归
Logistic Regression
基本概念
逻辑回归是线性 的二分类 模型
线性回归与逻辑回归的区别
线性回归是分析自变量x与因变量y(标量)之间关系的方法
逻辑回归是分析自变量x与因变量y(概率)之间关系的方法
机器学习模型训练步骤
PyTorch 构建模型需要 5 大步骤:
- 数据:包括数据读取,数据清洗,进行数据划分和数据预处理,比如读取图片如何预处理及数据增强。
- 模型:包括构建模型模块,组织复杂网络,初始化网络参数,定义网络层。
- 损失函数:包括创建损失函数,设置损失函数超参数,根据不同任务选择合适的损失函数。
- 优化器:包括根据梯度使用某种优化器更新参数,管理模型参数,管理多个参数组实现不同学习率,调整学习率。
- 迭代训练:组织上面 4 个模块进行反复训练。包括观察训练效果,绘制 Loss/ Accuracy 曲线,用 TensorBoard 进行可视化分析。