【动手学深度学习】09 Softmax 回归 + 损失函数 + 图片分类数据集(个人向笔记)

回归 vs. 分类

回归

  • 连续值
  • 一个输出
  • 自然区间 R R R
  • 与真实值的区别作为损失

分类

  • 离散值
  • 多个输出
  • 输出预测是第 i 类的置信度

损失函数的选择

  • 若选择均方误差
  • 只取最大值不是特别合理,所以需要一个更置信的方法,即最大值比其他值都大出一个阈值
  • 期望输出的是一个概率,即所有的和为1,用 Softmax
  • 用交叉熵损失做分类问题
  • 交叉熵损失的含义是当前预测的这个类别的概率有多接近真实的 1

损失函数

  • L2 Loss:蓝色表示 y = 0 , y ′ y = 0,y' y=0,y′ 变化时函数的变化。绿色曲线为似然函数,是一个高斯分布。橙色表示梯度
  • 这个梯度表示离远点越远,变化越快。离原点越近,变化越慢。
  • L1 Loss
  • 这个梯度表示变化速度恒定
  • Huber' s Robust Loss
  • 结合了上面两种损失的优点,在大的时候变化恒定,小的时候可以越来越小

图片分类数据集

  • MNIST数据集过于简单,课上使用更复杂的Fashion-MNIST
  • 导入相应的包
  • 这里不知道为什么在线下载下载不了,只能自己下载了:https://zhuanlan.zhihu.com/p/551799637。注意这里还需要自己创建一个data文件夹
  • 这里 [0][0] 表示第0张图片的第0列信息,即图片信息。而 [0][1] 则是标签信息
  • 下面是绘制出数据集的一些图片的信息
  • 其中有细节都被跳过了,python基础不好的我感到有些疑惑,比如那个循环。还有axes要展平是因为它是一个二维数组要变成一维的

  • 获取一个批次的数据,看看读取这些数据需要多久
  • 数据读取部分,感觉套路就是①定义一个trans,肯定要transforms.Totensor(),然后②定义 dataset,③把 dataset 传到 data.DataLoader 并且定义好 batch_sizeshufflenum_workers即可


Softmax从零实现

下面是直接在jupyter上做笔记了~




后面的部分太难了~反正以后也是用封装的,于是看过去就是了,没有详细理解


Softmax回归简洁实现

相关推荐
闲人编程10 分钟前
图像去雾算法:从物理模型到深度学习实现
图像处理·人工智能·python·深度学习·算法·计算机视觉·去雾
咔咔学姐kk15 分钟前
大模型微调技术宝典:Transformer架构,从小白到专家
人工智能·深度学习·学习·算法·transformer
Caaacy_YU39 分钟前
多模态大模型研究每日简报【2025-09-10】
论文阅读·人工智能·深度学习·机器学习·计算机视觉
人有一心1 小时前
深度学习里的树模型TabNet
人工智能·深度学习
强盛小灵通专卖员2 小时前
边缘计算设备NPU的加速原理
人工智能·深度学习·边缘计算·sci·中文核心·小论文
强盛小灵通专卖员2 小时前
RK3576边缘计算设备部署YOLOv11
人工智能·深度学习·yolo·边缘计算·sci·rk3576·小论文
Ms_Big2 小时前
ppliteseg改rknn,部署在嵌入式板,加速模型
人工智能·python·深度学习
七牛云行业应用6 小时前
图灵奖得主萨顿演讲解读:深度学习的局限与AI新范式
人工智能·深度学习
IMER SIMPLE6 小时前
人工智能-python-深度学习-神经网络VGG(详解)
人工智能·python·深度学习
藓类少女7 小时前
【深度学习】重采样(Resampling)
人工智能·深度学习