【动手学深度学习】09 Softmax 回归 + 损失函数 + 图片分类数据集(个人向笔记)

回归 vs. 分类

回归

  • 连续值
  • 一个输出
  • 自然区间 R R R
  • 与真实值的区别作为损失

分类

  • 离散值
  • 多个输出
  • 输出预测是第 i 类的置信度

损失函数的选择

  • 若选择均方误差
  • 只取最大值不是特别合理,所以需要一个更置信的方法,即最大值比其他值都大出一个阈值
  • 期望输出的是一个概率,即所有的和为1,用 Softmax
  • 用交叉熵损失做分类问题
  • 交叉熵损失的含义是当前预测的这个类别的概率有多接近真实的 1

损失函数

  • L2 Loss:蓝色表示 y = 0 , y ′ y = 0,y' y=0,y′ 变化时函数的变化。绿色曲线为似然函数,是一个高斯分布。橙色表示梯度
  • 这个梯度表示离远点越远,变化越快。离原点越近,变化越慢。
  • L1 Loss
  • 这个梯度表示变化速度恒定
  • Huber' s Robust Loss
  • 结合了上面两种损失的优点,在大的时候变化恒定,小的时候可以越来越小

图片分类数据集

  • MNIST数据集过于简单,课上使用更复杂的Fashion-MNIST
  • 导入相应的包
  • 这里不知道为什么在线下载下载不了,只能自己下载了:https://zhuanlan.zhihu.com/p/551799637。注意这里还需要自己创建一个data文件夹
  • 这里 [0][0] 表示第0张图片的第0列信息,即图片信息。而 [0][1] 则是标签信息
  • 下面是绘制出数据集的一些图片的信息
  • 其中有细节都被跳过了,python基础不好的我感到有些疑惑,比如那个循环。还有axes要展平是因为它是一个二维数组要变成一维的

  • 获取一个批次的数据,看看读取这些数据需要多久
  • 数据读取部分,感觉套路就是①定义一个trans,肯定要transforms.Totensor(),然后②定义 dataset,③把 dataset 传到 data.DataLoader 并且定义好 batch_sizeshufflenum_workers即可


Softmax从零实现

下面是直接在jupyter上做笔记了~




后面的部分太难了~反正以后也是用封装的,于是看过去就是了,没有详细理解


Softmax回归简洁实现

相关推荐
CoovallyAIHub2 分钟前
中科大DSAI Lab团队多篇论文入选ICCV 2025,推动三维视觉与泛化感知技术突破
深度学习·算法·计算机视觉
CoovallyAIHub36 分钟前
开源的消逝与新生:从 TensorFlow 的落幕到开源生态的蜕变
pytorch·深度学习·llm
CoovallyAIHub6 小时前
港大&字节重磅发布DanceGRPO:突破视觉生成RLHF瓶颈,多项任务性能提升超180%!
深度学习·算法·计算机视觉
CoovallyAIHub7 小时前
英伟达ViPE重磅发布!解决3D感知难题,SLAM+深度学习完美融合(附带数据集下载地址)
深度学习·算法·计算机视觉
惯导马工1 天前
【论文导读】ORB-SLAM3:An Accurate Open-Source Library for Visual, Visual-Inertial and
深度学习·算法
隐语SecretFlow2 天前
国人自研开源隐私计算框架SecretFlow,深度拆解框架及使用【开发者必看】
深度学习
Billy_Zuo2 天前
人工智能深度学习——卷积神经网络(CNN)
人工智能·深度学习·cnn
羊羊小栈2 天前
基于「YOLO目标检测 + 多模态AI分析」的遥感影像目标检测分析系统(vue+flask+数据集+模型训练)
人工智能·深度学习·yolo·目标检测·毕业设计·大作业
l12345sy2 天前
Day24_【深度学习—广播机制】
人工智能·pytorch·深度学习·广播机制
九章云极AladdinEdu3 天前
超参数自动化调优指南:Optuna vs. Ray Tune 对比评测
运维·人工智能·深度学习·ai·自动化·gpu算力